背景:
当某个接口修改或者新增的时候,我们需要快速的进行冒烟验证,除了测试人员提供的用例外,我们可以通过算法自动解决用例生成的问题。
最全算法:
算法原型:笛卡尔积算法
算法介绍:各个参数的个数的乘积
代码设计:
python:tertools模块中product方法
优势:覆盖全
劣势:冗余用例多
最常用算法:
算法原型:正交表算法
算法介绍:根据正交性从全面试验中挑选出部分有代表性的点进行试验,这些有代表性的点具备了“均匀分散,齐整可比”的特点,具体逻辑可以参考另外一篇文章
代码设计:
见以下参考开源代码
优势:覆盖了大部分的场景,随着参数个数越多,用例的精简更明显。
劣势:参数多的时候设计分析麻烦,算法较为复杂,存在冗余用例也存在缺失用例
精简算法:
算法原型:Pairwise(结对)算法
算法介绍:基于数学统计和对传统的正交分析法进行优化后得到的产物。
Pairwise基于如下2个假设:
(1)每一个维度都是正交的,即每一个维度互相都没有交集。
(2)根据数学统计分析,73%的缺陷(单因子是35%,双因子是38%)是由单因子或2个因子相互作用产生的。19%的缺陷是由3个因子相互作用产生的。
优势:覆盖所有2因子的交互作用产生的用例集合性价比最高而产生的,解决双因子缺陷率的38%问题
劣势:
(1)Pairwise对于维度的分解来说,需要对业务很熟悉。以及需要正交测试法的理论支持。需要中等专业的测试人员才能完成。
(2)pairwise还是有一定的遗漏。相比于全正交设计法来说,pairwise算法对于多于2个因素相互作用所产生的bug,没有覆盖率上会有遗漏还需要补充单因子的用例集合。
代码设计:
python: allpairspy 的AllPairs模块
其他算法:
遗传算法+其他算法:
总结:
可以根据接口的参数个数自动选择算法类型,最终需要经过不断实验才能更好的判断类型。
参考文档:
正交表生成参考代码:
https://github.com/lovesoo/OrthogonalArrayTest