主要是从 测试 工作的角度,对几个测试相关的维度进行分析,说明它们是如何影响项目质量的。这6个维度是作者自己的总结,这六个维度也只是和 功能测试有关,至于系统的性能、可靠性、可用性如何度量
首先,我们要明确一个概念,就是“严重bug”。这6个维度,有很多都和严重bug有关。严重bug指的是项目中,严重性是1级和2级的bug。注意,并不是优先级,而是严重性。严重性1级是“block”,指程序无法正常运行或者是测试无法正常进行,随便点两下,就报错;2级是major,指功能的各种错误,总之是用户不可接受的错误。3级大多是文案或者是易用性的问题,用户可以接受少量这种类型的bug。
好,下面开始讨论那六个维度,我会说明计算方法,以及它们的战略意义。
1、严重bug数 / 测试用例数
这个维度代表了一个项目的严重bug数量是否正常,让测试用例参与计算,是为了平衡规模不同的项目的数据。
2、第三轮测试出现的严重bug数 / 严重bug总数
目前我们的测试过程模型是“三轮测试”,三轮的目标分别是:发现bug、验证bug、稳定回归。如果在第三轮回归的时候,还出现大量严重bug,那肯定是不正常的,也会对质量构成巨大风险。这个数字应该要控制在一个很低的水平。
3、被reopen的严重bug / 严重bug总数
reopen指开发fix后,测试验证不通过,或者是已经close的bug又复发。这个维度也应该被控制在一个很低的水