自动化测试体系整体解决方案探讨

自动化测试已经越来越深入人心，其重要性也是不言而喻的。性能测试中大规模并发的要求，压力测试中的大规模压力的模拟，回归测试中的大规模测试用例的反复执行都要求实现一个高可用、高可扩展性的自动化测试框架体系。因此，如何在一个开放的框架下，构建一个完整的自动化测试体系是我们需要研究的方向。

　　一个完整的自动化测试框架体系包含以下几个部分：1、自动化测试框架；2、测试脚本以及测试数据管理；3、测试脚本的执行管理系统；4、测试结果的显示与分析系统。其中最重要的是自动化测试框架部分。

　　第一部分，自动化测试框架。自动化测试框架要解决的问题，从本质上来说，是实现分布式资源透明化的过程。由于性能测试、压力测试的要求，我们往往需要构建一个分布式的测试环境，在这个分布式的测试环境中，我们需要多种测试平台（例如：多台windows，多台linux等）。自动化测试框架的作用就在于将分布式环境中的各种资源变成相应的服务对象。例如一台windows机器，在自动化测试的框架中，我们看到的将不再是一台windows机器，而是绑定到某一个IP地址上的一个服务对象。通过这个对象，我们可以通过一个通用的调用方法（本地调用一个远程提供的方法，需要采用对象映射的技术），告诉这个对象，让它做我们希望它去做的事情，例如启动一个指定的测试脚本（这个测试脚本可能是我们日常写的某一个测试用例，也可能是其他操作）。在自动化测试框架的实现上，其主要是建立了一个以提供服务为主的底层的通讯网络。而在服务的应用上，我们可以采用插件模式，以及对象映射的技术，可以动态的无限的扩展我们的服务。根据我个人的实践，STAF + python的开发模式可以很好的实现这个框架。STAF主要构建了一个网络体系，使得各种机器资源之间可以自由的通讯。而python则可以在STAF的基础上进行二次开发，可以构建一个动态插入的服务体系。

　　第二部分，测试脚本及测试数据的管理。首先要选择一种合适的自动化脚本语言。一般来说，需要考虑以下几个方面：（1）高可读性，（2）无需编译，（3）可扩展性，（4）强大的第三方支持，尤其是对各种数据源的支持。我们可以采用CVS或者SVN的方式来实现对测试脚本和测试数据的管理。在这里，主要依靠高度组织化的目录结构来实现，尤其是需要和实际测试过程中的测试套件，测试模块以及测试用例的组织结构进行匹配，分级管理。形成一个完整的测试脚本和测试用例的资源库。对于测试脚本的编写，有一些基本的要求：1、形成一套测试脚本的编写规范；2、测试脚本采取分层设计思想，持久层（数据资源库，对象资源库，统一IO），逻辑层（封装基本业务逻辑，实现API级调用），脚本层（实现测试用例过程，主要是描述测试步骤）。通过这些，测试工程师编写测试脚本将会变得十分轻松，测试的效率也会有大幅度的提升，大规模回归，甚至是在第一轮测试就实现自动化测试也不再是梦想。

　　第三部分，测试脚本的执行管理系统。大量的测试脚本编制好了以后，一个很重要的步骤就是大批量的执行这些测试脚本。通过CVS或者SVN的管理，我们生成了一个测试资源库，一个测试用例将是一个测试脚本。测试脚本执行管理系统的目的，就是要在用户定制的时间去执行用户选定的测试用例。测试脚本执行管理系统也应该能动态的追踪到当前正在运行的任务的状态，例如执行百分比等等；还可以实现多用户管理，例如同时执行多个用户提交的测试需求。同时，测试脚本管理系统还应该实现测试环境自动部署的功能。一般来说，我们在进行大规模的自动化测试之前，需要准确部署测试环境，这里就要求用最新的代码版本来进行测试。因此，测试环境的自动部署也是很重要的。

　　第四部分，测试结果的显示与分析系统。通过统一的IO调用，我们可以将测试过程中产生的错误信息，日志信息，以及测试结果动态的放到我们想要存放的地方。测试结果的显示与分析系统正是基于这些数据进行处理的系统。每一个测试用例在执行的过程中，需要输出大量的日志信息，这些日志信息是非常重要的。通常，我们判断一个测试用例执行结束以后，是否有Bug，常常需要深入分析这些日志信息。在测试用例执行的过程中，不光要打印相关的测试数据，实际获取到的数据，还要打印相应的测试步骤，这样才便于对测试结果进行分析。至于显示系统，主要是对测试结果的一个分类检索功能，可以生成各类报表，例如，一个300个测试用例的模块中有多少通过的，有多少是失败的等等。有一个基本原则是很重要的，自动化测试不是为了自动化，而是为了发现Bug。如果自动化测试不能发现Bug，那么花费大量的人力物力实现自动化，也是没有什么实际意义的。因此，深入收集测试用例执行的过程中产生的各种信息是非常重要的。个人的实践经验表明，这些信息对于发现Bug起着至关重要的作用（测试步骤的描述也不容忽视）。

　　自动化测试体系不是一个工具，一种自动化测试脚本语言就可以实现的。它需要一个完整的解决方案才能实现。个人的实践经验表明，自动化测试框架的引入、强大的资源整合能力和有效的自动化测试体系的设计将是实现自动化测试的十分重要的因素