Eclipse本地运行MapReduce

环境说明：Linux环境下已搭建好hadoop集群，windows本地安装Eclipse,远程启动MapReduce任务

1、下载并安装eclipse插件：hadoop-eclipse-plugin-XXX.jar

网上有好多教程，不再赘述，注意IP地址和端口不要错。

2、配置本地Hadoop环境

2.1 下载尽量与你服务器版本相同的hadoop包，并解压。

2.2用下面的文件替换hadoop/bin目录下的文件。

链接：https://pan.baidu.com/s/1-FLHe5-DU79462UX4w_-5A 密码：bkla

2.3配置环境变量

HADOOP_HOME:hadoop安装目录

PATH:%HADOOP_HOME%/bin

3、运行mapreduce程序

注意1：输入输出文件目录

1、代码配置

// String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
        String[] otherArgs=new String[]{"input","output"}; /* 直接设置输入参数 */

2、运行配置

注意2：用户权限问题：

输入：-DHADOOP_USER_NAME=hadoop