Mrunit是一种对mapreduce进行单元测试的工具,其特点是不需要启动集群。
首先利用maven先加上一来,我们用的是hadoop2.7.3。
org.apache.mrunit
mrunit
1.1.0
hadoop2
如果不能下载的话,建议去官网下载源码,然后进行编译。地址:
http://archive.apache.org/dist/mrunit/mrunit-1.1.0/
在test/java下面,新建class.
如果程序根据我们输入的参数,进行map/reduce计算后,和我们理想的输出结果相同,那么测试通过,否则就失败,这个时候就可以去debug找问题了。这个工具让我们对map/reduce的基本逻辑能进行一个测试,不然每次提交到集群上面去运行,不太利于debug!