如何评估ad hoc测试

 

Ad hoc测试，也有称作exploratory 测试，是凭着测试人员的直觉来进行测试。没有test cases，主要是即兴进行一些测试。当我刚开始从事测试这一工作的时候，我的lead让我做ad hoc测试，我很茫然，我周围也有同事很高兴，他们觉得可以自由安排自己的时间，当时我就体会到很难评估一个人做ad hoc测试的情况，如果有的人很认真的去做ad hoc测试，一天也没有发现问题，而有的人也许只用了一天的很短的时间去做ad hoc测试，反而发现了一个bug….如果要评估这两个人的ad hoc测试呢。在此翻译Jonathan的文章,《how to measure ad hoc testing》希望能有所收益。

一种解决方案是进行ad hoc测试in sessions.其中包含四个部分：

1)      与测试任务绑定的(chartered)

2)      时间期限(Time Box)

3)      检查结果(reviewable result)

4)  测试报告(Debriefing)

翻译后才发现自己英语水平有限，有些词语翻译成中文真的很别扭，比如session，比如session sheet。还是找到了Jonathan的另一篇文章，《session-based test management》，关于一些词里面有详细的解释：

What we call a session is an uninterrupted block of reviewable, chartered test effort. By “chartered,” we mean that each session is associated with a mission—what we are testing or what problems we are looking for.

By “uninterrupted,” we mean no significant interruptions, no email, meetings, chatting or telephone calls.

By “reviewable,” we mean a report, called a session sheet, is produced that can be examined.

 

Charter：清楚的任务描述

·         Charter建议测试什么，怎么样测试以及像发现什么样的问题；

·         Charter并不是个详细的计划

·         一般charter都是开始测试必需定义好的

·         详细的charter可以更好的提供测试的重点，但是制定那样的规则需要投入很多的精力

Time Box：固定的时间期限安排ad hoc测试

在Jonathan的team,一般sessions 是一个半小时，允许有误差。如果是一个接近45分钟的session,被称作short session，如果接近两个小时的session，被称作long session。原则一个工作日，一个测试人员完成的session不超过三个。

Debriefing：评估来源于观察

·         Test lead或manager应该review session sheet

·         Test lead或manager应该了解session report的内容，以及对一些tester进行某些辅导或给出建议和反馈

·         Review所有session sheet后，调整charter，扩展session…

Test lead or manger 如何进行debriefing

除了Review session sheet，还有“PROOF”原则：

Past: 这个session做了什么？

Results：这个session完成了什么目标？

Obstacles：遇到什么阻碍或困难？

 Outlook：有什么还要关注的？

Feelings： 测试人员关于这个session的感想？

 

Session report/sheet包含的信息

·         Session Charter(包括测试的概述以及测试覆盖的部分)

·         测试人姓名

·         测试的起始时间

·         Task break down(任务分解，包含三项任务：

a)      Test design and execution：测试产品，寻找问题

b)      Bug investigation and Reporting：

c)      Session setup：问前两个任务的完成所做的任何准备工作，包括设备的配置，素材的准备，阅读手册等等

·         Test note(可以记录session 中发生的任何有关测试的信息，包括测试用例的想法，风险列表，功能列表等)

Example session sheet

Charter
Analyze Gallery view functionality and focus on stack view and Grid view,report on areas of potential risks.
Areas
OS
Test Strategy	Function testing? Performance Testing?
Sart Time		Tester
Task Break down
Task List	Duration	Info
Test design and execution
Bug investigation and Reporting
Session setup
Test Note
Suggestions and Ideas
Outstanding Issues
Risks