关于评价自动化测试的优劣,除了常见指标外,还有一些不太容易拿数据说话的指标,这里叫做隐性指标。
隐性指标主要包括:自动化的维护成本、自动化的运行成本
1 、自动化的维护成本
针对同一个业务,不同的自动化测试实现方案,对应的维护成本可能天壤之别。诚然,自动化的维护成本,受业务成熟度、迭代速度、项目规范程度影响,但不妨考虑以下情况下,你的维护成本如何:
新增了一些逻辑(如,接口/服务/应用),对新增部分维护自动化,你需要多长时间;
删除了一些逻辑(如,接口/服务/应用),对删除部分维护自动化,你需要多长时间;
修改了一些逻辑(如,接口/服务/应用),对修改部分维护自动化,你需要多长时间;
在项目迭代速度加快时,并伴有增删改逻辑时,你的自动化脚本还能跟得上吗?其实,这是不少团队都会面临的严峻考验。 一个正处于快速发展的业务,每次业务测试、回归时,可能都会想放弃自动化测试,转而来手工执行测试。因为,自动化测试还要不断调试自动化代码,大概率来不及这次的测试,还不如直接手动测试的效率高。
2、自动化运行成本
这里的自动化运行成本是说,从想执行自动化到执行结束需要符合的能力&时间成本。一般的自动化运行过程大致如下:
1)创造一些自