测试有效性的分析

1.缺陷探测率（DDP方法）

　　首先，测试人员可以根据用户反馈的缺陷数目，来判断和分析测试人员在测试过程中的测试有效性。通常来说，在测试过程中判断测试人员的测试有效性是很困难的。但是通过用户反馈的缺陷数目，却可以直观的说明测试人员是否遗漏了比较多的问题，从而反映测试人员的测试有效性。

　　缺陷检测百分比DDP（Defect Detection Percentage）就是基于这样的目的进行定义的，它可以用来评判软件测试生命周期内某个阶段的测试有效性，它以百分比的形式进行计算[1]。其计算公式为：

　　DDP = [R1 / (R1 + R2)] * 100%

　　其中：

　　°R1指的是被评估阶段发现所发现的缺陷数目；

　　°R2是被评估阶段之后所发现的所有的缺陷数目；

　　注意：DDP计算公式的分母并不是发现的总的缺陷数目，而是指该阶段之后所有发现的缺陷数目（包括该阶段的缺陷数目）。另外，采用DDP作为测试有效性的评估指标，存在的一个问题是需要在产品发布一段时间之后才能进行，例如：产品发布之后3个月

表1是计算DDP的一个例子（主要针对动态测试而言的）

测试阶段	发现的缺陷数目	DDP
集成测试	376	51.58%
系统测试	251	71.10%
验收测试	65	63.73%
产品发布（3个月之内）	37	NA

2.测试执行过程缺陷遗漏率（PLDP方法）

　　测试执行过程的好坏主要有测试计划、测试执行过程和测试记录等阶段决定。在测试执行过程中，完全的测试是不可能的，测试需要终止。因此在测试过程中，能够发现全部的缺陷是不可能的，必然会有一部分遗漏。从而将一些问题暴露给用户，从而影响用户的满意度、易用性。但是在测试过程中评价一个测试过程的有效性是很困难的，但是通过一段时间的系统上线应用，统计用户反馈缺陷数目，进而比较容易评价测试过程的有效性，就如同缺陷探测率的方法。但是缺陷探测率的评价方法仅仅只是通过缺陷数目来决定测试过程的好与坏，这仅仅停留在测试结果的评价阶段，却没有覆盖的整个测试过程。因此在缺陷探测率的基础之上，本文提出一个测试执行过程缺陷遗漏率（Test-Process Lose Defect Percentage，缩写PLDP）的概念。同时在这之上加入了缺陷严重程度的约束条件。其中缺陷严重程度大体分为如下：

　　严重程度1（致命的）：软件产品在正常运行环境下无法继续为用户提供服务，并无其他工作方式满足同样功能，或者软件产品失效后造成人身伤害或者危机人身安全。

　　严重程度2（严重的）：极大的影响软件产品提供给用户的服务，或者严重影响系统要求或基本功能的使用。

　   严重程度3（一般的）：软件产品功能需要增强或者存在缺陷，但是存在对应的补救方法解决。

　　严重程度4（轻微的）：细小的问题，不需要补救方法或者功能增强，或者操作不方便，容易导致用户误操作。

　　不用缺陷严重程度，将其定义为不同的权重值分别为w1=5代表严重程度1、w2=3代表严重程度2、w3=2代表严重程度3和w4=1代表严重程度4。按照缺陷严重程度计算出带有缺陷严重程度权重的缺陷基数（Defect Base Numbers，缩写DBN），定义如下：

　　其中wi为上述的各个严重程度的权重， 代表对应缺陷严重程度的缺陷数。

　　因此可以定义PLDP如下：

解读一下：PLDP=有测试用例覆盖的客户反馈bug数/(有测试用例覆盖的客户反馈bug数+测试过程中的缺陷总数)*100%

　　其中，DBNInTCcostomer是客户方发现并反馈给技术支持人员的错误并且该已被设计的测试用例覆盖的错误数计算出来的缺陷基数。DBNtester是软件测试过程中发现的缺陷数计算出来的缺陷基数。测试执行过程缺陷遗漏率是用来软件测试过程中测试执行及其之后阶段的评价方法，测试用例覆盖到的缺陷，在测试执行过程中并未发现，是测试工程师执行测试用例时出现的问题。PLDP越小，测试过程中的测试执行过程有效性越高。

3. 测试用例丢失率

　　测试用例的设计处于测试过程中的上游阶段，是测试执行的基础。测试用例的设计过程覆盖了测试计划、测试规格说明书等测试过程阶段。但是如何评价测试用例设计的优劣目前还无很好的办法。因此针对上述问题，本文提出测试用例丢失率（Test-Case LosePercentage，缩写TCLP）来评价测试用例的优劣程度。定义如下：

　　

　　其中，TestCasedesign是有客户方发现并反馈给技术支持人员的错误并且被测试用例覆盖的测试用例数。是软件测试过程中设计的测试用例数。测试用例丢失率是用来评价测试过程中，测试用例设计及其之前阶段的评价方法。客户发现的问题测试用例并未覆盖到，是测试计划、测试规格说明书和测试用例设计阶段问题。TCLP越小，测试过程中的测试用例设计及其之前的阶段的有效性越高。

4.测试过程有效性评价方法

　　测试过程失效率是由测试执行过程缺陷遗漏率和测试用例丢失率二者进行综合考量的。测试过程失效率（Ineffectivityof Testing Process Percentage，缩写ITPP）定义如下：

　　ITPP =（PLDP+TCLP）/2

　　测试过程有效性（Effective of Testing Process，缩写ETP）评价方法是通过测试过程失效率进行评价，测试过程失效率越小，测试过程的有效性越高。

　　ETP = 1-ITPP

　　对于一个测试项目的测试过程中，测试过程的有效性主要是通过系统上线运行后一定周期内客户发现缺陷数量为统计基础的。由于测试过程也是受各种因素影响，测试有效性达到100%是一个理想值，显示测试过程无法满足。因此本文引入六四格玛理论，当测试有效性达到99.997%时，就认定为测试过程是一个高质量的检测、检验过程；达到四西格玛93%以上99.997%以下，说明测试过程有待改进，但整体测试过程能够基本保证被测软件质量；达到二西格玛68%以上93%以下，说明测试过程不可信，测试结果无参考价值，测试过程必须改进。具体评价结果如下表所示：

　　

　　▲表2 测试过程有效性评价结论对比表

5.结论

　　软件测试过程的有效性决定了测试结果的可信度，保证了软件产品的质量。本文通过分析软件测试过程，将其分成测试用例及其前期阶段和测试执行及其后期阶段，以被测产品上线运行一定时间内客户发现的缺陷和测试过程中发现缺陷为基本出发点，应用测试执行过程缺陷遗漏率和测试用例丢失率对软件过程有效性进行了评价，通过通过引入六西格玛质量评价方法对软件测试过程有效性进行了初步的划分。但是目前该方法仅仅只在部分软件系统中进行了初步的时间，例如对系统上线运行多长时间统计缺陷数等关键参数还需进一步分析研究。