测试系统可以分三个点:之前宋飞总过,大家可以再看一下
可用性、有效性、完整性
可用性:以可用性为目标的服务包括 环境服务,构建服务,验证服务等
该指标的核心就是降低服务不可用的时间,包括因环境更新或者down不提供服务的时间,因任务排队而等待的时间,因修复失败构建定位问题未回滚的时间.
完整性: (Service Provided)/(Service Required)
以完整性为目标的服务包括环境服务和验证服务, 例如我们自动构建过程中提供的自动化用例验证服务占所有验证服务的比例。我们提供的系统级环境,Mock环境,桩环境占需要环境服务的比例.该指标的核心是建立更体系完整的自动化,更全面的环境支持.
有效性: (Valid Service)/(Service Provided)
以有效性为目标的服务主要是验证服务,如在构建验证服务中,需要提高我们验证的有效性,降低非bug引起的失败构建的比例。包括因环境失败,测试代码bug,测试用例运行不稳定等造成的无效失败构建.