一、此方案解决了在大规模复杂系统中,自动化运行反馈周期长,成本高问题,实现精准运行测试,最大程度节约自动化成本和提高反馈效率
1、在自动化用例分层上,首次使用了通过一段时间代码热区数据技术,检索到高频修改产品代码模块,并自动映射相关自动化用例,跑相关脚本
2、从多个维度考虑筛选出核心价值用例,用尽可能少成本运行最核心价值测试
3、成果显著,每个版本节省了55%的运行成本,用例精简了47%数量(减少了8000多条用例),多个版本bug零泄露
二、案例背景
面对大规模复杂系统,自动化用例庞大,为了提升自动化测试运行效率,降低运行成本和分析成本,我们设计了一套GUI用例分层系统:
项目用例数量庞大,有50000+,运行时间长,运行成本和分析成本都很高,为了解决这些问题,我们开发了一套用例分层系统,核心原理是收集开发代码热点数据(频繁修改代码函数和cpp文件)和人工在系统里筛选核心模块用例。
名词解释:
标签:是将一组相关自动化用例,存储到一个集合里,并对这个集合起一个名称,即为标签
代码热区:代码热区指的是被频繁改动的代码文件,这个改动有可能是因为代码复杂度过高或者代码耦合性太强,而造成新增功能都需要改动这些代码文件,也有可能仅仅是因为代码实现 的有问题需要频繁改动来修复bug.
三、案例价值
1. 用标签标记基准用例(包括热点数据关联用例和核心价值用例),和之前用例规模比较,精简了47%数量,运行用例时间缩减了55%。
2.基准用例脚本运行总时间缩短至2.5h,相比全脚本运行总时间5.7h,每个版本节省了55%的运行成本。
3. 分层代码覆盖率&全脚本覆盖率相差不大,基本持平。
4. 连续12个集成版本,bug零泄露。
四、效果
收集热点数据,开发经常修改的代码模块,高频修改代码函数,通过热点数据算法,自动检索出相关影响用例,绑定基准用例标签