基于Session的测试管理

 

基于Session 的测试管理

陈能技

2007-8-10

 

原文：Session-Based Test Management - James Bach

 

用于度量和管理探索性测试的一个方法。

 

简述

Exploratory testing探索性测试是一种不用剧本，不用预先演练的测试。它的效率取决于几种无形的东西：测试员的技能、直觉、经验和追踪预感的能力。但是正是这些无形的东西使得我们的测试经理在解释测试结果的时候感到困惑。例如，当最后经理问到探索性测试员状态时，他们会得到这样的回答“啊，你知道…我测了在这测了一下、那测了一下，就是周围看看。”而且即使测试员记录了一些bug，经理也不清楚他们是怎样找到的。即使经理很有技巧地问测试员他们干了什么，测试员也许忘记了细节或不能大声地描述出他们的想法。

 

当我们为客户做探索性测试时也有这个问题。我们需要为我们的工作做出解释。我们需要给出反映我们实际工作的状态报告。我们需要显示出我们是有创造性的、熟练的探索者，产生一份探索行进的详细地图。

 

它是怎样工作的

我们发明了基于session的测试管理方法来使这些无形的东西更加实在。你可以认为它是结构化的探索性测试，当然看起来像是自相矛盾的，但是“结构化”不是指测试是剧本化的。它是指我们对什么工作要做和怎样报告有一定的期望。在录音室，工作是在“Session”中完成的。一个Session从45分钟到几个小时不等，但是不管时间长短，它是花在测试上的Session章节的时间。 Jonathan Bach 为 STQE 杂志写的一篇文章描述了 sessions 的本质内容。

 

在一个 Session 的最后，测试员提交一份 session 报告，附上关于他们工作的重要信息。这里有一个例子：

CHARTER
-----------------------------------------------
Create a test coverage outline and risk list for DecideRight

#AREAS
DecideRight
OS | Win98
Build | 1.2
Strategy | Exploration & Analysis

START
-----------------------------------------------
4/16/01 11:15pm

TESTER
-----------------------------------------------
Jonathan Bach
Tim Parkman

TASK BREAKDOWN
-----------------------------------------------

#DURATION
short

#TEST DESIGN AND EXECUTION
100

#BUG INVESTIGATION AND REPORTING
0

#SESSION SETUP
0

#CHARTER VS. OPPORTUNITY
100/0

DATA FILES
-----------------------------------------------
tco-jsb-010327-A.txt
rl-jsb-010327-A.txt

TEST NOTES
-----------------------------------------------
Tim and I walked through the User Guide table of contents and index to create the following TCO:

Operating Systems:

Win98
Win2000

General Features:

Installation
User Manual
Online Help
UI
Preferences

Prominent Windows:

Main Table window
Criteria Weights window
Option Ratings window
Documents window
Start-up window

Managers and Wizards:

DecideRight Advisor
Category Label Editor
Numeric Editor
Scenario Manager
Report Generator
QuickBuild

Decision Elements:

Language Elements
Preferences
Sensitivity Indicators
Weighting
Input Options
Decision Table
Options Ratings
Baseline

Interoperability:

OLE
Import / Export
Graphs
Printing

BUGS
-----------------------------------------------
#N/A

ISSUES
-----------------------------------------------
#ISSUE
Manual mentions different platforms (Win 3.1, WFW, and WinNT 3.51) and does not mention Win2000. We think Win 2000 is important to test on and that the older OSes are no longer meaningful.

#ISSUE
We did this analysis on Win98. I have no data to suggest that features may be different on other operating systems, but I'm not sure about that.

 

Session 度量

Session度量是表达探索性测试过程的状态的主要方法。它包括以下元素：

1． Session完成的数量

2． 问题发现的个数

3． 功能区域覆盖的个数

4． 用于准备测试花费的session时间百分比

5． 用于测试花费的session时间百分比

6． 用于调查问题花费的session时间百分比

 

任务报告

在每个session结束时，测试员和经理一起讨论。我们发现SBTM（Session-Based Test Management）的价值有赖于测试经理与测试员关于工作的讨论，帮助测试员和经理从这个会议中得到最多（讨论大概15-20分钟），我们用一个问题的checklist来进行讨论。

 

扫描工具

我们的扫描工具通过查找标记扫描session报告。扫描的结果会累计，也就是说在所有session报告中相同标记的所有信息会在每次扫描时被收集在一起。

 

对经理的指引

我们发现这种方法依赖测试经理的技巧，所以我们会致力于一份讨论session协议的经理指南，指南还会把我们使用SBTM的好处和在使用过程中碰到的问题写进去。当这份指南准备好的时候我们会把它张贴出来的。

 

介绍

Jonathan Bach 在 STAR West 2000 第一次介绍 SBTM （ Session-Based Test Management ），演讲名称叫 "How to Measure Ad Hoc Testing"