Idea结合MRUnit测试wordcount(Mapreduce作业)过程及出错记录

一 .为什么使用MapReduce？

在Mapreduce中，map函数和reduce函数的独立测试非常方便，MRunit是一个测试库，它便于将已知的输入传递给mapper或者检查reducer的输出是否符合预期。这里由于主要体会MRunit.就用了最简单jing'dian的wordcount

MRUnit需要与Junit一起使用

二 . MRUnit引入

（首先如果在windows下测试，还需要winutils.exe和hadoop.dll,github地址在这里:

https://github.com/steveloughran/winutils

需要根据自己的hadoop版本下载,github直接在这个仓库点击find,输入这两个文件找到下载

下载后移入hadoop下的/bin/目录下即可）

第一种方式：maven项目中,pom.xml设置：

<dependency>
    <groupId>org.apache.mrunit</groupId>
    <artifactId>mrunit</artifactId>
    <version>0.8.0-incubating</version>
</dependency>

第二种方式：下载jar包导入项目

<