A Safe,Efficient Algorithm for Regression Test Selection

摘要

本文介绍一个safe的rts算法，可以处理所有语言结构和程序修改，并容易自动化。

1 绪论

软件维护活动的时间占据软件产品生命周期的2/3。选择方法只有在选择开销小于执行这些测试用例的开销时才有益

已有的研究关注结构覆盖指标。覆盖指标提供了一个途径度量测试充分性。但是在回归测试时我们希望保证程序的功能没有被修改而改变。为了完成的这个任务，，我们不仅需要满足覆盖条件，还需要找到可能改变程序行为的测试用例。

一部分已有研究将较少的关注放在覆盖率上。这些方法的缺点是他们需要程序的先验知识，这些只是需要从程序环境或相关程序组件中得到。当前实践中，对于大型程序来说，跟踪变化的编程环境假设是不合理的

本文中，我们提出一个新技术，既不依赖于覆盖率指标，也不要求相关程序组件的完整信息。我们的算法构建程序控制依赖图和它的修改版本。我们的算法检测两个版本代码修改的部分，然后选择所有传递可达的测试用例

本文技术的优点：

1. 选择算法可以传递新语句和测试原来程序删除语句相关的测试用例，所以，我们的算法可以选择所有可能在变更后的程序中暴露错误的测试用例
2. 尽管我们的算法可能选择不会出现不同行为的测试用例，但是相比已有算法更精确
3. 我们的算法比大多已有算法更简单和高校，因为它不要求源程序和修改程序间关联部分的映射
4. 我们的算法比已有算法的一般性更好，很容易扩展到其他系统上

2 背景

对于程序中的语句X和Y，如果X控制依赖于Y（Y至少有两个出路路径，一条总汇执行到X，另一条总不执行X）。语句X可能控制依赖于程序中的多条语句，我们可以只识别X的直接控制依赖

如上图，语句S7控制依赖于谓词P3和P4，但是只直接依赖于P4。

3 回归测试中的问题

PROBLEM 1 给定程序P，和修改版本P’和测试集合T，找到一个T的子集能够成分验证P’的正确性

典型的解决方法有以下步骤：

1. 识别P的修改，获取P和P’代码段的映射
2. 使用1的结果，选择与修改相关的可能引起error的$T^{\prime }\subseteq T$
3. 在P’上运行T’
4. 如果有必要，为P’创建新的测试用例
5. 为P’创建新的测试集合T’’

选择算法中需要满足以下标准：

1. Safety。一个选择算法必须safe：它必须选择到每一个T中可能表现产生不一致行为的测试用例。一个safe的算法除了考虑修改的代码，也会考虑新增和删除部分代码的影响
2. Precision：RetestAll是一个safe的方法，但是imprecise。理想情况下，一个选择策略应该precise：它只选择可能得到不同执行行为的测试用例。
3. Efficiency：选择过程应该是自动化的，流程应该足够快，能在限定的时间内完成，并且能够用尽可能少的空间开销记录历史信息
4. Generality：可以应用在所有语言和语言结构上，能够处理任意复杂的代码修改

4 我们的测试用例选择方法

4.1 动机

对于测试用例T1，执行路径经过了所有的4条语句，P’中修改了S2’，所以S4是受影响的点。但是对于测试用例T2来说，它没有经过任何的修改点

接下来陈述技术所以来的基本定理：

定理 1：给定程序P的CDG，程序P’的CDG’，和测试套件T。只有在P和P’中传递到不同语句序列的测试，关系到P中的区域节点R，R在P’中有相关区域节点R’，R的直接孩子被改变了（没看懂）

4.2 测试用例选择算法

SelectTests算法如下图所示

算法首先构建P和P’的CDG图，然后调用Compare过程比较两个CDG的入口E和E’

Compare是一个迭代过程。给定两个CDG节点N和N’，先把节点标记为"visited"，然后确定他们的孩子是否等价。如果孩子非等价，那么久发现了P和P’的一处差别，这种情况下，在P中由节点N传递到的测试用例可能影响了P’。因此Compare返回N可传递到的测试用例；如果孩子节点等价，Compare会在所有未遍历的谓词或者N和N’的子节点上调用自身，然后返回测试用例的并集

后面有个例子就不说了

4.3 过程间回归测试

上面主要考虑到过程内上下文的场景，给出了单个过程中必须要重新测试的方法。

方法步骤主要如下：

1. 在releases间的离线期间，收集测试套件中所有测试用例的测试历史，这一步可以自动化
2. 在回归测试时，识别变更的过程。变更信息可以由版本控制系统给提供，或者用文本差异工具计算，这一步也可以自动化
3. 在程序P和新版本P’变更的过程上运行上面提出的SelectTests，这一步也确保所有受到变更影响的测试用例被选择和重跑
4. 将选择出的测试用例在P’上重跑
5. 添加必要的新的测试用例来满足函数或结构化覆盖率指标，然后跑这些测试用例

5 相关工作

6 结论

本文提出了safe的测试用例选择算法SelectTests，因为它可以选择到所有可能执行得到不同行为的测试用例，其中测试用例还包括覆盖新增和删除的代码

该算法比已有safe算法更快，空间开销更少，而且不需要代码修改的信息（确实不需要代码修改信息，只需要两个版本的CDG，然后再图上迭代算法。。）。最后，该方法具备一般性，它能处理任意程序，语言结构和修改并应用在集成和系统层面

本文的技术在其他上下文中也很有用。一般情况下，回归测试的最后一步是更新测试历史，测试必须重跑，记录新的执行信息并淘汰过时的测试。本文中的算法只需要重跑选择的可能产生不同的输入输出和历史的测试用例，其他测试不需要重跑

未来工作：

1. 尽管SelectTests比其他算法更精确，但也需要提高precision
2. 在过程间的应用上进行研究，并增加充分性指标的支持