质量体系和质量度量: 在整个迭代流程中,可以通过哪些指标来评估产品在各个阶段的质量
DevOps效能度量指标体系全景图在最后,这里只列举一些目前认为比较好落地并真实有效的指标:
PM需求阶段:
目标: 评估产品需求PRD质量及功能完善度
- 需求变更率:进度开发阶段后,提出的需求更改会导致重复开发量和测试量
- 需求完善度:是否有因为需求描述不清晰导致的线上问题
DEV开发阶段:
目标: 评估开发代码质量
- 冒烟通过率:执行测试提供的冒烟测试用例,是否已经测试通过后才提测
- bug修复率:在测试阶段,是否能够及时修复测试提出的bug,并且优先解决了阻塞问题,没有影响测试进度
- 自测覆盖度:是否有进行单元测试、代码扫描等进行改动代码覆盖测试
QA测试阶段:
目标: 评估测试质量及测试效率
- 冒烟通过率:或者低级缺陷率,评估开发自测是否充分,代码开发质量怎么样
- 测试覆盖度:是否能够完全覆盖所有功能点和代码改动点,是否有 测试没有分析到的需要测试内容,导致某功能没有经过测试出现了线上的问题
- 测试漏测率:是否真的认真执行了所有测试用例,并且测试用例是真的能发现问题,测试分析到了需要测试的功能,但是没有测出来问题,导致了线上出现问题
- 测试效率:是否在规定时间内完成了所有测试内容
- 回归逃逸:UAT阶段发现的问题数量,有多少bug是在UAT阶段而不是test测试阶段发现的,说明test阶段可能测试不充分
发布阶段:
目标: 评估版本质量及发布效率
- 发布成功率:回归次数
上线后:通过线上bug、和事故(涉及事故定级标准)来判断产品质量