eclipse以MapReduce本地模式运行程序

1.准备好所需的文件winutils.exe、hadoop-eclipse-plugin-2.7.3.jar、hadoop-common-2.2.0-bin-master.zip

下载路径： http://download.csdn.net/detail/tondayong1981/9668289?locationNum=3&fps=1

 

2.将 hadoop-eclipse-plugin-2.7.3.jar 文件放到eclipse安装目录下的plugins目录

 

3.window-->show view-->other mapreduce tools-->map/reduce locations增加新的DFS locations

填写原则如下：

map/reduce master填写mapreduce-site.xml的mapreduce.jobtracker的host和port

DFS master填写core-site.xml的dfs.default.name的host和port。

 

4.配置环境变量，即建立系统变量HADOOP_HOME,并且将hadoop-common-2.2.0-bin-master.zip的解压目录加入环境变量。

以防运行程序后出现找不到/null/winutils.exe的错误。记得重启系统

 

5.将winutils.exe放入本地的$HADOOP_HOME/bin下;

 

6.接下来就是见证奇迹的时刻，请点击执行即可。

 

遇到的错误：

1. Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.yarn.util.Apps

解决方法：将hadoop部署包中yarn文件夹(hadoop-2.4.1\share\hadoop\yarn)下的所有jar包引进来即可

转载于:https://www.cnblogs.com/IceGhostHYB/p/9022003.html