甘 志 (ganzhi@cn.ibm.com ), 高级软件工程师, IBM 中国软件开发中心
戴 晓君 (daixiaoj@cn.ibm.com ), 软件工程师, IBM 中国软件开发中心
齐 尧 (qiyaoj@cn.ibm.com ), 软件工程师, IBM 中国软件开发中心
罗 志达 (luozd@cn.ibm.com ), 软件工程师, IBM 中国软件开发中心
2008 年 12 月 19 日
TDD(Test Driven Development)早已成为被广泛使用的敏捷实践。对于 Java 来说, JUnit 是备受开发人员喜爱的单元测试工具。它甚至还影响了其他语言的测试框架。这点,我们从繁多的 xUnit 框架就可以看出来。随着多核时代的到来,开发人员将需要进行越来越多的并行程序测试。得益于 JUnit 的可扩展性,我们可以使用 Annotation 让 JUnit 更好地支持并行测试。在本文中,我们将介绍一个对 JUnit 的扩展,从而使得我们可以方便的用并行的方式进行单元测试。
随 着多核的普及,并行程序的开发已经提上日程。相对串行程序而言,并行程序更有可能出错。一方面,并行程序的执行序列具有很强的随机性,线程交错执行的序列 可能每次都不一样,而只要一个序列有问题,整个程序就是不正确的。另一方面,并行程序对大多数程序员来说,都是一个新的领域,经验相对较少,这是容易出错 的另外一个因素。
既然如此,我们就更需要仔细的测试我们的并行程序和组件了。目前已经有一些 JUnit 扩展可以创建多个线程,同时运行多个测试用例,从而加快测试用例集的执行速度,如 p-unit 。但对于测试并行程序和组件,这些功能并不能满足所有的需求。因为开发人员通常希望可以精确地控制多个线程之间的同步。
与测试顺序程序相同,我们希望能在测试并行操作之前,首先准备一些测试数据。然后,启动多个线程测试执行不同的操作。最后,等待所有线程结束之后,检验结果的正确性。在第二阶段中,多个线程能以任意的次序交错执行。结果的正确性检查应与线程的执行测序无关。
标 准 JUnit 只捕捉来自主线程的 Exception 。而其他线程中产生的 Exception 则会安静地被忽略掉,使得我们在子线程运行出错的情况下仍旧能得到“ Green Bar ”。这显然不是程序员喜欢的测试行为,我们希望测试结果能正确地反映所有线程的运行结果。
这种用于并行程序的测试模式会在测试并 行程序时会不断的重复。如果开发人员每次都需要重复创建这些框架,不仅繁琐,而且容易引入错误。通过使用以下介绍的简单扩展,可以使并行程序的测试变得和 顺序程序一样简单。这种扩展并不影响 JUnit 的其他特性以及各种 IDE 的 JUnit 插件的使用。
首先,我们给出一个使用新扩展进行并行测试的例子。
|
如果我们在 Eclipse 中运行测试,那么测试完毕之后的 JUnit 视图如下所示:
接下来,我们模拟子线程在运行时抛出异常。
|
如果我们在 Eclipse 中运行测试,那么测试完毕之后的 JUnit 视图如下所示:
从上图可以看出,我们的并行测试用例通过了测试,并且它们在使用不同线程运行时都能正常的工作。而串行的测试方法 (doNothing) 的执行结果则完全和之前一样工作正常。也就是说,串行和并行测试可以在一个测试类中同时出现。
名称 | 参数 | 使用对象 | 备注 |
---|---|---|---|
ParallelSetting | threadNum: 用于指定线程数目。通常我们希望能使用一个数组指定多个值,这样,我们可以了解程序是否在单线程,较少线程,以及大量线程的情况下是否工作正常。 | 用于整个 TestCase 来指定测试所用的并行设置 | 用于指定整个 TestCase 的并行设置 |
InitFor | 指定此方法服务的测试方法 | 用于指定初始化方法所服务的并行测试方法 | |
Threaded | 无参数,或定义与 @Test 兼容的参数 | 用于一个具有两个 int 类型的测试方法。测试过程中,测试框架将会线程序号以及线程总数通过方法的参数传递进来。这有点类似于 MPI 的约定。 | 指明一个方法为并行测试方法,相当于 JUnit 原有的 @Test 注释 |
CheckFor | 一个字符串参数,用于指定需要被验证的并行测试方法。 | 一个 Threaded 修饰的方法 | 指明一个方法用于检测并行执行的结果 . 我们不能在 Threaded 方法中直接检查,因为其他线程的测试也许还没有结束。 |
归 功于 JUnit 的灵活的内部架构,只要遵循 JUnit 的标准,我们就能够轻松的扩展 JUnit 的功能。而且遵循标准还意味着我们的扩展能无缝的利用社区对 JUnit 的广泛支持。例如,我们没有编写任何 Eclipse 插件,但是我们的测试结果能自然的在 Eclipse 中通过精心设计的 GUI 进行展现。
言归正传,我们扩展 JUnit 的过程主要由以下过程组成:
- 生成 Annotation 的定义,包括:@Threaded, @InitFor, @Check, @ParallelSetting
- 生成 TestClassRunner 的子类 Parallelized 并在其中实现运行自定义测试的逻辑
- 生成 TestMethodRunner 的子类供 Parallelized 类使用
在 实现 ThreadedMethodRunner 时,我们最开始在类 ThreadedMethodRunner 使用了 Thread 类的 setDefaultUncaughtExceptionHandler 来捕获异常。然后将异常封装到主线程。而目前的版本则利用了 Executor 来运行多线程测试。由于 JDK 中的 Future 已经提供了类似的能力,所以我们不需要再关心异常的正确传递问题了。 JUnit 能准确的打印出并行测试中产生的异常信息,这也意味着我们可以使用 JUnit 提供的 Assert 功能了。
随 着多核平台逐渐成为主流,开发人员不可避免地需要开发和测试并行应用。本文通过使用 Annotation 扩展 JUnit,使其可以更方便地支持“准备数据——多线程运行——检查结果”三阶段的并行测试模式,减少开发人员手工创建线程和同步的繁琐工作。并且可以使 JUnit 支持从子线程中捕获测试错误,正确地在 Eclipse 等 IDE 中显示测试结果。
学习
- “认识 p-unit : 一款开源的性能测试工具 ”(developerWorks,2007 年 5 月):p-unit 是一款开放源码的性能测试框架,和 JUnit 不同,p-unit 不仅关注测试案例的正确性,还收集测试案例的性能参数。
- “使用 ConTest 进行多线程单元测试 ”(developerWorks,2006 年 5 月):本文解释了为什么并行 bug 如此难于捕获并且介绍了 IBM Research 的一种新的解决方案。
- 在 作者的 Blog 上有更多和并行相关的文章 。
- 从 AlphaWorks 上下载“多线程正确性分析工具 ”以检查程序中潜在的 deadlock 和 data race 错误。
- 使用来自 IBM Haifa 实验的“ConTest ”能更快的测试出并行相关的 Bug 。
- p-unit :开源单元测试和性能测试框架
获得产品和技术
- 从 SourceForge 下载文中 JUnit 并行测试扩展 的完整代码。
- 从 Amino 开源项目 网站下载更多并行组件。
![]() | ||
| ![]() | 甘 志,IBM 中国软件实验室(CSDL BJ)China Emerging Technology Institute 成员,主要研究方向为并行计算, UML、Model driven development 和 SOA 。他在上海交通大学计算机系获得网络安全方向博士学位,期间发表了多篇论文和技术书籍。您可以通过 http://ganzhi.blogspot.com 或者 ganzhi@cn.ibm.com 联系他。 |
![]() | ||
| ![]() | 戴 晓君,IBM 中国软件实验室(CSDL BJ)China Emerging Technology Institute 成员,主要研究方向为并行编程和敏捷软件开发方法。他在中国科学院软件研究所获得计算机软件与理论硕士学位。您可以通过 daixiaoj@cn.ibm.com 联系他。 |
![]() | ||
| ![]() | 齐尧,IBM 中国软件实验室(CSDL BJ)China Emerging Technology Institute 成员,主要研究方向为程序动态分析和程序静态分析。他在北京理工大学获得硕士学位。您可以通过 qiyao@cn.ibm.com 联系他。 |
![]() | ||
| ![]() | 罗志达,IBM 中国软件实验室(CSDL BJ)China Emerging Technology Institute 成员,主要研究方向为程序动态分析和程序静态分析。他在北京大学获得软件工程硕士学位。您可以通过 luozd@cn.i |