提供下编译好的jar包:
http://download.csdn.net/detail/suzhi921/9594598
配置Eclipse:
将jar包拷贝到Eclipse目录下的plugins里
windows--preferences--Hadoop Map/Reduce指向Hadoop安装路径
windows-show view-Mapreduce Tools-Map/Reduce Locations--编辑Hadoop Location
前面的9001是在mapred-site.xml里面配置的
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration><strong>
</strong>
然后新建Map/Reduce Project,完成后将会看到DFS Location,如果展开能看到内容说明成功
配置完后就右键选择项目--Run as --Run on hadoop
1、下载Linux64位Eclipse
http://www.eclipse.org/downloads/download.php?file=/technology/epp/downloads/release/neon/R/eclipse-java-neon-R-linux-gtk-x86_64.tar.gz
2、下载插件源码
https://github.com/winghc/hadoop2x-eclipse-plugin
3、下载ant1.9.7
http://mirrors.tuna.tsinghua.edu.cn/apache//ant/binaries/apache-ant-1.9.7-bin.tar.gz
4、全部解压至/opt
5、下确定java jdk以及ant、hadoop环境变量都已设置
6、配置和编译插件
1. hadoop2x-eclipse-plugin-master\src\contrib\eclipse-plugin\build.xml文件中:
1.1. 在<target name="jar" depends="compile" unless="skip.contrib">这个element下,有一堆<copy file=....>的sub-element,将其中 <copy file="${hadoop.home}/share/hadoop/common/lib/htrace-core-${htrace.version}.jar" todir="${build.dir}/lib" verbose="true"/> 这个element替换为:
<copy file="${hadoop.home}/share/hadoop/common/lib/htrace-core-${htrace.version}-incubating.jar" todir="${build.dir}/lib" verbose="true"/>
并添加两个新的element:
<copy file="${hadoop.home}/share/hadoop/common/lib/servlet-api-${servlet-api.version}.jar" todir="${build.dir}/lib" verbose="true"/>
<copy file="${hadoop.home}/share/hadoop/common/lib/commons-io-${commons-io.version}.jar" todir="${build.dir}/lib" verbose="true"/>
1.2. 在<jar jarfile="${build.dir}/hadoop-${name}-${hadoop.version}.jar" manifest="${root}/META-INF/MANIFEST.MF">这个element的attribute子element中,为Bundle-ClassPath的值列表中添加:
lib/servlet-api-${servlet-api.version}.jar,
lib/commons-io-${commons-io.version}.jar,
并将lib/htrace-core-${htrace.version}.jar替换为lib/htrace-core-${htrace.version}-incubating.jar
2. hadoop2x-eclipse-plugin-master\src\ivy\libraries.properties文件中,更改下列属性和其值使其对应hadoop2.7.2和当前环境的jar包版本:
hadoop.version=2.7.2
apacheant.version=1.9.7
commons-collections.version=3.2.2
commons-httpclient.version=3.1
commons-logging.version=1.1.3
commons-io.version=2.4
slf4j-api.version=1.7.10
slf4j-log4j12.version=1.7.10
3. hadoop2x-eclipse-plugin-master\ivy\libraries.properties文件中,属性和值的修改同上面的2.。另外需要增加一个修改:
htrace.version=3.1.0
编译插件:
进入包括上面配置修改的插件源代码hadoop2x-eclipse-plugin-master\src\contrib\eclipse-plugin目录,运行如下ant命令进行编译:
ant jar -Dversion=2.7.2 -Declipse.home=<Eclipse_inst_dir> -Dhadoop.home=<hadoop_inst_dir>
其中<Eclipse_inst_dir>为Eclipse的安装目录,<hadoop_inst_dir>为hadoop-2.7.2的安装目录。
其实真正编译的过程还是很快的,主要是ivy下载的时间比较长,占用了整个编译运行的大部分时间,所以要耐心等待。
编译成功完成后,在hadoop2x-eclipse-plugin-master\build\contrib\eclipse-plugin目录下就能看到新生成的hadoop-eclipse-plugin-2.7.2.jar包了,这个就是我们需要的插件。只要把它拷贝到Eclipse安装目录下的plugins目录下,启动Eclipse,就能准备在Eclipse下进行mapreduce程序的开发运行了