浅析MapReduce单元测试框架—MRUnit

1. 什么是MRUnit

   MRUnit 是对MapReduce进行单元测试的一个框架，它可以很方便的测试mapper和reducer程序，MRUnit自己实现了一套Mock对象来控制OutputCollector的操作，其可以拦截map以及reduce上下文的输出，和我们的预期结果进行比较。

2. 为什么使用MRunit

   我们在进行MapReduce开发时，对于结果的验证比较繁琐，需要编译、打包然后将其提交到集群上运行来验证结果输出，而此时如果发现有bug，仍需要重复前面的步骤进行验证，总是这样来测试程序的话，时间成本太大。因此寻找一个好的办法来对写好的程序测试显得尤为重要，而MRUnit正是对MR程序进行单元测试的java框架。

3. 如何使用MRUnit

   如果你的项目是由maven进行管理的，我们只需要引入相应的依赖即可，首先引入MRUnit包：

   除此还需要引入另外一个Java单元测试包JUnit:

   将测试需要的jar包引入之后，就可以对MR进行单元测试了。MRUnit针对不同测试对象分别使用一下几种Driver：【MapDriver】对mapper进行测试；【ReduceDriver】对reducer进行测试；【MapReduceDriver】对mapper和reducer一起进行测试；【PipelineMapReduceDriver】对多个Map-Reduce pair一起测试。

4. 实例分析

新建一个测试类：TestAdStatByMRUnit

   在测试类中定义驱动类变量：

private MapDriver mapDriver;

private ReduceDriver reduceDriver;

private MapReduceDriver mapReduceDriver;

   定义待测试的MR类变量:

private AdStatByVerMapper mapper;

private AdMonitorStatReducerreducer;

   定义完类变量之后，对其进行初试化操作，此处利用@Before标签

@Before

public void setup() {

         mapper = new AdStatByVerMapper();

         reducer = new AdMonitorStatReducer();

         //初始化驱动类

         mapDriver = MapDriver.newMapDriver(mapper);

         reduceDriver = ReduceDriver.newReduceDriver(reducer);

         mapReduceDriver = MapReduceDriver.newMapReduceDriver(mapper, reducer);

}

   初始化完毕后就可以对具体的MR方法进行测试，由于各种驱动的使用原理相同，此处仅列举MapReduceDriver对mapper和reducer进行测试:

@Test

public void testStatbyAdId() {

    mapReduceDriver.getConfiguration().set("type", "ad");

         Text key = new Text("e8bba8b134cbe8bba8b134cb");

         Text val = new Text("130007,-,330005,18324,ape_b_1,-,39590,-,aphone,61,1,2.1.1.1");

         mapReduceDriver.withInput(key, val);       
         Text expKey = new Text("18324,2.1.1.1,aphone");
         Text expVal = new Text("0,0,0,0,0,1");
         mapReduceDriver.withOutput(expKey, expVal);                
         mapReduceDriver.runTest(false);
}

总结

通过采用MRUnit对MR进行单元测试，可以使我们更快的定位问题，节省测试时间，提高代码鲁棒性。

除了起到单元测试的作用，通过测试代码的输入和预期结果，我们还可以更加清楚地知道map、reduce究竟输入、输出了什么等细节，借助其可以更好的让我们了解MR框架的工作原理。

单元测试是很重要，可以帮助我们及早的发现问题，但是只有单元测试还是不够的，作为一个分布式的计算框架，还需要将其集成到hadoop集群上进行测试，以保证整个项目的正确运行。