1. 评价测试脚本的质量:
*测试代码覆盖率:直接采用指定的某种代码覆盖率(语句覆盖,分支覆盖等)
*Bug检测率:直接采用变异杀死率作为指标
脚本可维护性:按照规定的风格要求,采用checkstyle计算相应的满足项。(例如:检查项5项,每项20分,选手某单项出错一次扣2分,单项扣完未止
脚本运行效率:采用代码覆盖率除以运行时间,max=100,其他选手采用线性化归一计算
脚本编写效率:采用最高代码覆盖率除以最快达到这一覆盖率的编写时间,最高记位100分,其他选手采用线性化归一计算
2. 分支覆盖:
要求:程序中每个条件判定语句的真值结果和假值结果都至少出现一次。
分支覆盖得分(Branch Score)是评价测试用例集充分检测有效性的度量指标。
得分介于0和1直接,数值越高,表明覆盖的分支数越多,测试用例集覆盖的流程越多。为1时表明用例集覆盖了所有分支。
3. 变异测试:
也称为变异分析,是对测试数据集有效性充分性进行评估的技术。
通过对比源程序与变异程序在执行同一测试用例时的差异来评价测试用例集的错误检测能力