第3章 怎样才能高效率测试
3.1 似是而非的高效率
这一节澄清一些流行的误解或误导,一些看起来很不错的高效率,实际上是似是而非的。
全自动生成用例
全自动生成用例是所有测试人员的期盼,好消息是,这是一种简单的技术,十年前就有了,坏消息是,这种技术作用很小。
工具不可能自动了解代码的设计功能,全自动生成的用例,只能发现极端错误,例如异常、崩溃、超时,至于其他的一般错误,通常跟代码的设计功能有关,全自动用例是无法发现的。
全自动用例只能作为人工方法的补充,用于检测极端错误,在后面将会进一步介绍。
自动方法的意义到底有多大呢?由于工具不可能自动了解代码的功能,自动方法并未检测功能逻辑。举个例子,一个加法函数,错误是把+写成了-,即使这是种最简单代码中的最简单错误,任何静态或动态工具,都无法自动发现,更不用说复杂代码中的复杂错误了。如果工具可以自动完成单元测试,那么,单元测试就是很简单的事,绝不可能是现在这种状况:尝试的企业很多,成功的企业很少。
自动生成大量的用例,然后手工修改
听起来很不错吧?看看两个例子:
这两个函数的参数类型完全一样,都是字符串,第一个函数的功能是删除字符串左边的空格,第二个函数的功能是检查用户名的合法性并删除非法字符。工具不可能自动了解这种基本的差别,生成的用例多数是垃圾。选择、修改比直接设定更加费时。
前面介绍的是简单数据类型,对于复杂数据类型,就更糟了,例如,参数是一个结构,有100个域。工具不知道哪个域需要初始化,哪个域需要判断输出,会生成海量垃圾。