Eclipse配置Hadoop环境并运行WordCount样例

1、下载Hadoop插件并安装

（1）下载 hadoop-eclipse-plugin-2.7.2.jar，链接： http://download.csdn.net/detail/tondayong1981/9432425

（2）安装： 将 hadoop-eclipse-plugin-2.7.2.jar拷贝到/usr/lib/eclipse/plugins目录下

2、配置Hadoop的安装目录

（1）打开Eclipse，Window -> Preferences 出现Hadoop Map/Reduce选项

（2）配置Hadoop installation directory，点击Browser按钮，填入Hadoop的安装目录

3、新建Hadoop Location

（1）打开Map/Reduce视图：Window -> Show View -> Other... -> MapReduce Tools  -> Map/Reduce Locatons，底部框中出现 Map/Reduce Locatons

（2）在 Map/Reduce Locatons下方，右键选择New Hadoop location...， 根据hadoop/etc/hadoop/mapred-site.xml和hadoop/etc/hadoop/core-site.xml配置相应的IP和端口

4、新建Hadoop项目

（1）File -> new - project -> Map/Reduce Project 

（2）Next -> 输入Project name：WordCount -> N ext -> Finish

5、连接DFS

（1）左侧Project Explorer一栏中出现DFS Locations和WordCount两个选项。

（2）展开DFS Locations，出现连接不上的错误。

这是因为我还没有启动dfs，使用脚本start-dfs.sh运行dfs。

使用jps命令查看是否启动成功。

说明已经成功启动，右键Hadoop重新连接。

连接成功，会显示dfs中的内容， input和output文件是我之前安装hadoop时，测试wordcount程序时创建的。

6、为WordCount工程添加代码

（1）在WordCount项目中新建package名为test，新建类WordCount，出现WordCount.java。

（2）复制hadoop-2.7.2源码中提供的WordCount.java中代码到我们新建的WordCount.java文件中。

WordCount.java在hadoop-2.7.2-src/hadoop-mapreduce-project/hadoop-mapreduce-examples/src/main/java/org/apache/hadoop/examples/目录下；

hadoop-2.7.2源码下载链接： http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.2/hadoop-2.7.2-src.tar.gz

7、运行WordCount项目

先配置运行参数，点击运行按钮 -> Run Configurations -> Aarguments

输入配置参数，即相应input和output目录存放的路径：hdfs://localhost:9000/user/hadoop/input hdfs://localhost:9000/user/hadoop/output 然后Apply -> Run

如果之前存在output目录需要先将其删除，否则会报错，报错如下：

我们将之前使用的output目录删掉

然后再次运行WordCount.java

没有报错，然后刷新DFS下的user

此时又增加了output文件夹，说明程序运行成功。

可以查看part-r-00000中的内容，这是单词的统计结果。

完毕。