【数据平台】Eclipse+MapReduce开发环境(集群运行模式)

Eclipse+MapReduce开发环境

集群部署centos+jdk1.8+Hadoop2.7.2；

开发端windows+Eclipse Mars.1 Release (4.5.1)

1）hadoop-eclipse-plugin插件

需要编译，可用网上现成，这里找到hadoop-eclipse-plugin-2.7.2.jar下载（要注意编译plugin的jdk版本，后面eclipse环境和centos下jdk环境也要一致），放在eclipse的plugins文件夹。

下载hadoop-2.7.4.tar.gz解压到D:/dev/hadoop-2.7.4目录，配置到：

2）插件配置

打开Map/Reduce的Perspective：

点击小象，设置集群信息：

连接成功：

3）WordCount示例

代码参考官网，运行时设置：

 备注：提示winutils.exe问题，去下载一个放到hadoop路径bin下就可以。