Test Automation. Snake Oil James Bach
1996年发表,1999年修订.
一宗罪 - Testing is a mere "sequence of actions", but an interactive cognitive process.
二宗罪 - "The only thing remains constant is change" and Variability is one of the great advantages of hand testing over script and playback testing.
三宗罪 - 测试工具本身.(可能现在会好很多)
四宗罪 - Testing always needs human intervention. 比如,AUT的改变,内存,文件系统,网络,以及,测试工具bug.
五宗罪 - 自动化测试不一定会减少人为错误.的确,有些人为错误可以通过自动化避免,但是,自动化也带来甚至更多的错误.
六宗罪 - 将人工测试与自动化测试比较是无意义的,因为二者是有根本区别的. 其实,在历数四五六宗罪的同时,作为自动化测试专家和自动化测试经理,作者一直在强调自动化测试只是众多测试方法中的一种,无法代替手工测试,不应偏废.
七宗罪 - 自动化测试不一定会节约成本.(对于初涉自动化测试的码农我,成本问题还不是我能考虑的.)
八宗罪 - 自动化测试甚至有可能给项目带来负面影响.如果需求不明,管理不善,或者AUT持续剧烈变化,自动化测试将成为梦魇.
个人体会:数"罪"言过其实了,其实所谓"罪",也非自动化测试带来的天灾,而是自动化测试人员带来的"人祸". 小卒我初涉自动化测试,体会还很肤浅.就目前公司进行的自动化测试而言,其第一宗罪已经有些若隐若现了.实际上,用户的操作可能与我们的测试用例完全不同,使用一系列动作来测试无可厚非,但问题是,如何组织这些动作,这些动作真的只是简单的sequence,还是一个interactive的cognitive的过程,实在是一门高深的学问.
希望我们老大别看见我这篇文章:)