浅谈SQL Server Engine GQL测试（二）

五、测试使用的工具

针对如此重要的一款产品，如此庞大的测试规模，如果没有一套完整，稳定可靠的测试架构作为支撑，可以想象测试是无法顺利有效进行下去的。

a)         MS公司针对SQLServer的测试框架使用的是WTT(Windows Test Technology)，WTT提供的功能主要有，测试的调度执行、测试结果的收集、测试机器的维护和管理、测试任务的(JOB)开发和维护。

b)         测试用例的开发和调试工具：Meta（Multi-Environmet Testing Automation）专门用于测试用例的开发和调试。在该集成开发工具里，可以使用command-line、Javascript/vbscript等方式编辑测试脚本。也可以使用T-SQL脚本编辑测试用例。甚至可以导入用VSTS开发的复杂的测程序源码，并在运行测试时动态编译出该测试可执行程序或者动态DLL库， 并由Meta自己将该程序它加载到他的程序运行空间动态的执行。Meta同时还对外提供多个接口，可自动加载符合Meta定义的，由特殊类型测试所需要的测试模块，供测试结果的过滤功能、特殊验证功能等用。

c)         测试用例、程序源代码管理工具：MS用SD(Source depot)进行测试用例、程序源代码的管理，这个源码管理工具功能十分强大。首先它是基于微软全球网络的，而不单单是一个公司内部网络的，也就是它是基于广域网的。其次，它支持多人同时对源码进行迁入迁出，不似SourceSafe那样，如果一个人对源码进行了迁出，则该文件就处于锁定状态，其他人无法对它再进行修改的操作了。　既然SD允许多人同时对同一文件进行修改，那么如果再迁回ＳＤ库是，就可能产生冲突。SD提供了非常好的冲突解决方案，可使开发、测试人员方便地进行冲突的解决。同时SD提供命令行和图形用户两种操作方式供，大家可以根据自己的使用偏好任选其中一种。

六、测试的人员管理

    面对功能如此复杂的一款数据库产品，测试工具是那么的庞杂，测试的工作强度有相当高，那么对于测试人员的计算机技能、开发和测试的经验要求就相当的高。针对以上这些困难，我们主要从测试人员的招聘、从培训测试人员熟悉产品的功能、掌握测试工具的使用、测试人员的任务分配等方面着手进行培训管理，在短短一个月时间内就达到了预期的效果，尤其在测试工具的使用上让项目经理感到吃惊。

1.       熟悉工作环境：　由于是全英文的办公环境，和产品相关的文档都是英文的，所有的工作都通过Email进行跟踪和反馈，所以在招募团队成员时，　要求候选者英语读写能力要高，对口语表达能力不做过高的要求。因为每天收到的邮件都会达到上百封或更多，因此对邮件的组织管理就很重要。培训如何撰写英文邮件、如何回复邮件、如何在outlook中对Mail进行分类，不会漏读和回复重要的邮件。

2.       产品培训：只有熟悉产品，全面深入解数据库引擎的整体架构和基本功能，才能读懂测试用例，领会他的测试目的，也才能对测试结果进行调查分析并提交高质量的bug，以便让开发人员和其它测试人员明白到底是个什麽样的bug。基于以上两点出发，必须对测试团队进行产品培训，使团队成员熟悉每个模块的功能及与其他模块之间的关系。对于非常重要的功能组件，甚至要求团队成员必须达到熟练掌握的程度。

3.       对测试工具的培训：因为对该数据库引擎的测试主要的测试流程包括测试用例的编写和调试、测试的调度执行、测试结果的分析。其中在对测试结果的分析过程中要在测试机上手工运行测试用例设法重现所得到的错误,这也是整个团队所有成员的主要工作内容。所以要求每个团队成员对测试用例开发、调试工具Meta的使用要非常熟练，对Meta集成环境中的测试执行器、结果验证器、结果过滤器的类型及使用要全面掌握。 还要会熟练配置测试用例运行时的各种运行参数。
    同时，还要基本掌握测试调度执行工具WTT的基本功能，一个或一批测试用例是如何被打包成一个可被ＷＴＴ调度的WTT作业(WTT　Job)的，怎样将一个WTT作业调度到一台测试机器上并使它运行的，怎样查看测试执行结果的，等等。

4.       如何进行Bug的提交、追踪、验证

    提交一个高质量的Bug，对于团队成员来说，是一个非常重要的环节，因为整个测试团队、开发团队、外包团队分别在中国和美国，开发人员和测试人员及结果验证人员不能面对面进行沟通，而是通过所开据的bug 以及email 进行交流，所以对bug的质量要求就比较高。

1)       标题简明扼要，让开发人员一眼就能明白是什麽问题。

2)       描述部分要对测试的目的表述逻辑清晰、对所发现的问题一定要表达清楚。一定加上出错的信息。或者实际的结果和期望的结果。

3)       重现的步骤更要简练。同时要将测试相关的结果文件、日志文件等一并上传达到bug库中。同时，一定要提供该测试运行的环境条件，提供可重现此bug的机器。

 

七、测试团队的建设：
    一个成功的团队，必须是一个富有激情、稳定的团队。而组建一个国际级软件产品测试的团队，稳定就显得更为突出。如果人员频繁流动，就会使测试的效率非常低下，因为伴随着团队成员的不断离职，其所负责的测试任务不可避免的会让其他成员承担，这就会造成测试任务的拖延；同时对新成员的加入，还需进行产品、测试流程、测试工具的培训，也会增额外的时间，加大测试任务被拖延的风险。

根据以上罗列的潜在风险，我们采取了以下应对措施：

1)       团队每个成员负责测试的一个部分，同时又是其他一部分或几部分的back up。

2)       团队建设： 经常组织集体活动，增加集体感。

3)       内部培训: 每个人根据自己负责的部分，通过测试和学习研究，以讲座的形式向大家讲述该部分的主要功能，。产品下一个版本最新的功能改进、以及该部分是怎样进行测试的。

4)       内部WIKI：记录测试过程中遇到的问题，以及是如何解决的。

   

    通过上述措施，即增加了团队的凝聚力，提升了整个团队的知识技能，又使团队每个成员的对产品和测试的知识面得到了拓宽。为更高效的测试打下了良好的基础。

 

    总之，经过几年的亲身参与这一国际级的数据库引擎的测试，深深懂得测试管理在软件整个生命周期中发挥的不可替代的作用。也为MS公司的先进的、完整的、高效的开发、测试管理深深叹服。希望这些好的管理措施能运用在国内的软件企业上，为我国尽快走向软件强国贡献一份力量。

 

--全文完