问:我听说有人是“ad hoc”测试的高手,这是什么意思?
答:有很多测试人员会按部就班地进行测试,但是还有一些人头脑比较灵活,喜欢另辟蹊径,测试一些一般人不会想到的场景,这些人往往会发现更多的Bug。开发人员对这样的“ad hoc”高手是又爱又恨。
问:同时看问题要分两方面,有些“ad hoc”发现的Bug在正常使用软件中几乎不会出现,我们要不要花时间“ad hoc”?
答:现在一些成功的通用软件的用户以百万计,按部就班的测试计划很难包括很多实际的场景,这时,“ad hoc”测试能够发现重要的问题;另外一些风险很大的领域,例如安全性,一旦出了问题,威胁就会相当大,这时要多鼓励一些“ad hoc”测试,以弥补普通测试的不足。从这个意义上说,“ad hoc”测试可以用来衡量当前测试用例的完备性,如果你探索了半天,都没有发现什么在现有测试用例之外的问题,那就说明现有的测试用例是比较完备的。
“ad hoc”测试的测试流程是不可重复的,因为它的测试都是“特定”测试,没法重复。由于这一原因,“ad hoc”测试不能自动化,就这一点而言,还达不到CMM的第二级 – 可重复级。
作为管理人员来说,如果太多Bug是在“ad hoc”出来的,那我们就要看看测试计划是否基于实际的场景,开发人员的代码逻辑是否完善,等等。同时,要善于把看似“ad hoc”的测试用例抽象出来,包括到以后的测试计划中。
问:做好“ad hoc”测试有什么窍门?
随机测试有些小窍门,可以帮助测试人员更有效的发现bug。
窍门一,在发现很多bug的地方,一定可以发现更多的bug。我们在做随机测试的时候,往往会先统计一下,上周哪些模块被发现的bug最多,那么这周一定要狠狠的在那个模块里发掘一下。
窍门二,做到知己知彼。知己就是要了解自己在哪些方面有特长,多发挥这些特长;知彼主要是了解两方面,一是程序本身哪些地方最复杂,最薄弱,这些地方最容易发生什么错误,二是程序员最容易在哪些地方犯哪些错误。前者通过对程序的熟悉可以比较好的掌握,后者可以通过CQ(BUG管理工具)分析得到。
窍门三,多和程序员沟通。在和程序员沟通的过程中,你可以知道很多你前所未知的东西,你可以通过验证这些东西,来发现未知的bug,并且可以激发你运用更多的测试手段来测试。
22/2<12