扩展 JUnit 测试并行程序

甘 志 (ganzhi@cn.ibm.com ), 高级软件工程师, IBM 中国软件开发中心
戴 晓君 (daixiaoj@cn.ibm.com ), 软件工程师, IBM 中国软件开发中心
齐 尧 (qiyaoj@cn.ibm.com ), 软件工程师, IBM 中国软件开发中心
罗 志达 (luozd@cn.ibm.com ), 软件工程师, IBM 中国软件开发中心

 

2008 年 12 月 19 日

TDD（Test Driven Development）早已成为被广泛使用的敏捷实践。对于 Java 来说， JUnit 是备受开发人员喜爱的单元测试工具。它甚至还影响了其他语言的测试框架。这点，我们从繁多的 xUnit 框架就可以看出来。随着多核时代的到来，开发人员将需要进行越来越多的并行程序测试。得益于 JUnit 的可扩展性，我们可以使用 Annotation 让 JUnit 更好地支持并行测试。在本文中，我们将介绍一个对 JUnit 的扩展，从而使得我们可以方便的用并行的方式进行单元测试。

测试并行程序与以往有什么不同 ?

随 着多核的普及，并行程序的开发已经提上日程。相对串行程序而言，并行程序更有可能出错。一方面，并行程序的执行序列具有很强的随机性，线程交错执行的序列 可能每次都不一样，而只要一个序列有问题，整个程序就是不正确的。另一方面，并行程序对大多数程序员来说，都是一个新的领域，经验相对较少，这是容易出错 的另外一个因素。

既然如此，我们就更需要仔细的测试我们的并行程序和组件了。目前已经有一些 JUnit 扩展可以创建多个线程，同时运行多个测试用例，从而加快测试用例集的执行速度，如 p-unit 。但对于测试并行程序和组件，这些功能并不能满足所有的需求。因为开发人员通常希望可以精确地控制多个线程之间的同步。

与测试顺序程序相同，我们希望能在测试并行操作之前，首先准备一些测试数据。然后，启动多个线程测试执行不同的操作。最后，等待所有线程结束之后，检验结果的正确性。在第二阶段中，多个线程能以任意的次序交错执行。结果的正确性检查应与线程的执行测序无关。

标 准 JUnit 只捕捉来自主线程的 Exception 。而其他线程中产生的 Exception 则会安静地被忽略掉，使得我们在子线程运行出错的情况下仍旧能得到“ Green Bar ”。这显然不是程序员喜欢的测试行为，我们希望测试结果能正确地反映所有线程的运行结果。

这种用于并行程序的测试模式会在测试并 行程序时会不断的重复。如果开发人员每次都需要重复创建这些框架，不仅繁琐，而且容易引入错误。通过使用以下介绍的简单扩展，可以使并行程序的测试变得和 顺序程序一样简单。这种扩展并不影响 JUnit 的其他特性以及各种 IDE 的 JUnit 插件的使用。

下载并使用扩展框架

首先，我们给出一个使用新扩展进行并行测试的例子。

例 1. 使用 JUnit 扩展进行并行测试

/** * @author Zhi Gan * */ @RunWith(Parallelized .class) @ParallelSetting (threadNumber = { 1, 2, 4, 8 }) public class TestThreaded { Set<String> strSet; @Before public void setUp() { strSet = new LockFreeSet(); } @Test public void doNothing() { } @InitFor ("testThread") public void putSomeData(int size){ strSet.add("putSomeData"); } @Threaded public void testThread(int rank, int size) { // every thread adds element to set strSet.add("abcde" + rank); } @CheckFor ("testThread") public void checkResult(int size) { assertEquals(size+1, strSet.size()); } public static void main(String[] args) { for (int i = 0; i < 10; i++) JUnitCore.runClasses(TestThreaded.class); } }

 

如果我们在 Eclipse 中运行测试，那么测试完毕之后的 JUnit 视图如下所示：

图 1. 并行测试的完成结果

接下来，我们模拟子线程在运行时抛出异常。

例 2. 子线程运行时异常

/** * @author Zhi Gan * */ @RunWith(Parallelized .class) @ParallelSetting (threadNumber = { 1, 2, 4, 8 }) public class TestThreaded { Set<String> strSet; @Before public void setUp() { strSet = new LockFreeSet(); } @Test public void doNothing() { } @InitFor ("testThread") public void putSomeData(int size){ strSet.add("putSomeData"); } @Threaded public void testThread(int rank, int size) { // throw a runtime error in spawned thread throw new RuntimeError(); } @CheckFor ("testThread") public void checkResult(int size) { assertEquals(size+1, strSet.size()); } public static void main(String[] args) { for (int i = 0; i < 10; i++) JUnitCore.runClasses(TestThreaded.class); } }

 

如果我们在 Eclipse 中运行测试，那么测试完毕之后的 JUnit 视图如下所示：

图 2. 并行测试的完成结果

从上图可以看出，我们的并行测试用例通过了测试，并且它们在使用不同线程运行时都能正常的工作。而串行的测试方法 (doNothing) 的执行结果则完全和之前一样工作正常。也就是说，串行和并行测试可以在一个测试类中同时出现。

Annotation 详细说明

表 1. 扩展的 annotation 说明

名称	参数	使用对象	备注
ParallelSetting	threadNum: 用于指定线程数目。通常我们希望能使用一个数组指定多个值，这样，我们可以了解程序是否在单线程，较少线程，以及大量线程的情况下是否工作正常。	用于整个 TestCase 来指定测试所用的并行设置	用于指定整个 TestCase 的并行设置
InitFor	指定此方法服务的测试方法	用于指定初始化方法所服务的并行测试方法
Threaded	无参数，或定义与 @Test 兼容的参数	用于一个具有两个 int 类型的测试方法。测试过程中，测试框架将会线程序号以及线程总数通过方法的参数传递进来。这有点类似于 MPI 的约定。	指明一个方法为并行测试方法，相当于 JUnit 原有的 @Test 注释
CheckFor	一个字符串参数，用于指定需要被验证的并行测试方法。	一个 Threaded 修饰的方法	指明一个方法用于检测并行执行的结果 . 我们不能在 Threaded 方法中直接检查，因为其他线程的测试也许还没有结束。

扩展 JUnit 的过程说明

归 功于 JUnit 的灵活的内部架构，只要遵循 JUnit 的标准，我们就能够轻松的扩展 JUnit 的功能。而且遵循标准还意味着我们的扩展能无缝的利用社区对 JUnit 的广泛支持。例如，我们没有编写任何 Eclipse 插件，但是我们的测试结果能自然的在 Eclipse 中通过精心设计的 GUI 进行展现。

言归正传，我们扩展 JUnit 的过程主要由以下过程组成：

1. 生成 Annotation 的定义，包括：@Threaded, @InitFor, @Check, @ParallelSetting
2. 生成 TestClassRunner 的子类 Parallelized 并在其中实现运行自定义测试的逻辑
3. 生成 TestMethodRunner 的子类供 Parallelized 类使用

在 实现 ThreadedMethodRunner 时，我们最开始在类 ThreadedMethodRunner 使用了 Thread 类的 setDefaultUncaughtExceptionHandler 来捕获异常。然后将异常封装到主线程。而目前的版本则利用了 Executor 来运行多线程测试。由于 JDK 中的 Future 已经提供了类似的能力，所以我们不需要再关心异常的正确传递问题了。 JUnit 能准确的打印出并行测试中产生的异常信息，这也意味着我们可以使用 JUnit 提供的 Assert 功能了。

结论

随 着多核平台逐渐成为主流，开发人员不可避免地需要开发和测试并行应用。本文通过使用 Annotation 扩展 JUnit，使其可以更方便地支持“准备数据——多线程运行——检查结果”三阶段的并行测试模式，减少开发人员手工创建线程和同步的繁琐工作。并且可以使 JUnit 支持从子线程中捕获测试错误，正确地在 Eclipse 等 IDE 中显示测试结果。

参考资料

学习

• “认识 p-unit : 一款开源的性能测试工具 ”（developerWorks，2007 年 5 月）：p-unit 是一款开放源码的性能测试框架，和 JUnit 不同，p-unit 不仅关注测试案例的正确性，还收集测试案例的性能参数。
  
• “使用 ConTest 进行多线程单元测试 ”（developerWorks，2006 年 5 月）：本文解释了为什么并行 bug 如此难于捕获并且介绍了 IBM Research 的一种新的解决方案。
  
• 在 作者的 Blog 上有更多和并行相关的文章 。
  
• 从 AlphaWorks 上下载“多线程正确性分析工具 ”以检查程序中潜在的 deadlock 和 data race 错误。
  
• 使用来自 IBM Haifa 实验的“ConTest ”能更快的测试出并行相关的 Bug 。
  
• p-unit ：开源单元测试和性能测试框架
  

获得产品和技术

• 从 SourceForge 下载文中 JUnit 并行测试扩展 的完整代码。
  
• 从 Amino 开源项目 网站下载更多并行组件。

作者简介

		甘 志，IBM 中国软件实验室（CSDL BJ）China Emerging Technology Institute 成员，主要研究方向为并行计算， UML、Model driven development 和 SOA 。他在上海交通大学计算机系获得网络安全方向博士学位，期间发表了多篇论文和技术书籍。您可以通过 http://ganzhi.blogspot.com 或者 ganzhi@cn.ibm.com 联系他。

 

		戴 晓君，IBM 中国软件实验室（CSDL BJ）China Emerging Technology Institute 成员，主要研究方向为并行编程和敏捷软件开发方法。他在中国科学院软件研究所获得计算机软件与理论硕士学位。您可以通过 daixiaoj@cn.ibm.com 联系他。

 

		齐尧，IBM 中国软件实验室（CSDL BJ）China Emerging Technology Institute 成员，主要研究方向为程序动态分析和程序静态分析。他在北京理工大学获得硕士学位。您可以通过 qiyao@cn.ibm.com 联系他。

 

		罗志达，IBM 中国软件实验室（CSDL BJ）China Emerging Technology Institute 成员，主要研究方向为程序动态分析和程序静态分析。他在北京大学获得软件工程硕士学位。您可以通过 luozd@cn.i