虚拟机Hadoop实战（六）用java编写…

【结果图】将file1.txt和file2.txt中的项目去重

同样在Netbeans环境下，新建一个基本的Java SE工程

这个Dedup程序，总感觉似乎仅仅是把本地的文件给传到Hadoop去做Map-Reduce了。

工程类库的导入，Hadoop的环境，简要参考前一章《 虚拟机Hadoop实战（五）用java编写远程hadoop文件上传下载程序》中的设置：

hadoop-2.7.3\share\hadoop\common\lib\  下的所有jar包

hadoop-2.7.3\share\hadoop\common\       下的hadoop-common-2.7.3.jar

hadoop-2.7.3\share\hadoop\mapreduce\   下的hadoop-mapreduce-client-core-2.7.3.jar

　　　　　　　　　　　　　　　　　　　　　  和hadoop-mapreduce-client-common-2.7.3.jar

hadoop-2.7.3\share\hadoop\hdfs\              下的hadoop-hdfs-2.7.3.jar

并添加如下设置：

hadoop-2.7.3\share\hadoop\yarn\　　　　 下的hadoop-yarn-common-2.7.3.jar

hadoop-2.7.3\share\hadoop\yarn\　　　　 下的hadoop-yarn-api-2.7.3.jar

同时记得到  https://github.com/SweetInk/hadoop-common-2.7.1-bin下载并做如下准备：

winutils.exe  　　　　拷贝到%HADOOP_HOME%\bin目录

libwinutils.lib　　　　拷贝到%HADOOP_HOME%\bin目录

hadoop.dll   　　　　拷贝到c:\windows\system32目录

程序 Dedup.java

//Java 系统原配的包 import java.io.IOException; //  hadoop-2.7.3\share\hadoop\common\hadoop-common-2.7.3.jar包含下列包： import org.apache.hadoop.conf.Configuration;