从hadoop 0.20.203以后,hadoop的发布包里,不再对eclipse插件进行jar包发布,而是给出了打包的代码,需要各位开发人员自己进行打包和设置。
原因是比较简单的,因为开发人员手中的eclipse版本千差万别,而插件又强烈依赖于eclipse版本号,如果强行进行打包,那么遇到的各种诡异的问题可能也无法避免和得到妥善解决。所以我们只能自行编译eclipse插件。
一.编译环境
os:ubuntu 14.04
jdk:1.8.0_25
ant:1.9.4
hadoop:hadoop-2.5.1
eclipse:luna-4.4.1
工具:hadoop2x-eclipse-plugin-master[下载](https://github.com/winghc/hadoop2x-eclipse-plugin/tree/master%20%E4%B8%8B%E8%BD%BD%E5%9C%B0%E5%9D%80)(注:此工具为官方提供的编译工具)
编译开始之前,首先你需要确保你的jdk、ant、eclipse以及hadoop已经正确安装配置。
1)解压工具并设置编译配置
将上述编译工具解压到安装目录下,打开{hadoop2x-eclipse-plugin-master-root}/ivy/libraries.properties
cd {hadoop2x-eclipse-plugin-master-root}/ivy/
sudo gedit libraries.properties
将文本中各jar包的版本对应更改为需要编译的{hadoop-2.5.1-root}/share/hadoop/.../lib 中各个jar包的版本
其次,进入{hadoop2x-eclipse-plugin-master-root}/src/contrib/eclipse-plugin,打开build.xml文件
cd {hadoop2x-eclipse-plugin-master-root}/src/contrib/eclipse-plugin
sudo gedit build.xml
在<project default="jar" name="eclipse-plugin">之后添加 <property name="eclipse.home" location="/usr/local/eclipse"/>(指明eclipse的安装根目录)及<property name="version" value="2.5.1"/>(指明你要编译的hadoop版本)
2)编译
进入{hadoop2x-eclipse-plugin-master-root}/src/contrib/eclipse-plugin
cd {hadoop2x-eclipse-plugin-master-root}/src/contrib/eclipse-plugin
执行ant编译命令 ant jar -Dversion=2.5.1 -Dhadoop.version=2.5.1 -Declipse.home={eclipse-root} -Dhadoop.home={hadoop-root}/hadoop-2.5.1
其中,-version是指你要生成的插件的版本
-hadoop.version指的是你所编译的hadoop的版本
-eclipse.home指的是你安装的eclipse的根目录
-hadoop.home指的是你安装的hadoop的根目录
大概半分钟左右就可以看到生成的hadoop-eclipse-plugin-2.5.1.jar在{hadoop2x-eclipse-plugin-master-root}/build/contrib/eclipse-plugin下。
二.插件配置及使用
将生成的hadoop-eclipse-plugin-2.5.1.jar文件放到Eclipse的plugins目录下,重启Eclipse即可看到该插件已生效。
通过Open Perspective菜单打开Map Reduce视图,如下:
选中大象图标,右键点击先新建location并编辑Hadoop配置信息(之后可以右键点击edit编辑配置信息):
填写正确的Map/Reduce和HDFS信息。(具体根据您的配置而定)
4) 新建简单Mapreduce项目
通过向导新建一个Map/Reduce项目。在此过程中,请配置Hadoop的安装路径。
5) 通过Eclipse访问DFS
打开Resource视图,即可看到DFS:
此时,你可对DFS进行一些操作,比如上传本地文件到HDFS等等,如下图:
至此,Hadoop的开发环境大致配置完成。
本文插件配置部分有参考,原文地址
配置Hadoop开发环境(Eclipse) ,感谢网友zythy的文章。
如有网友不愿亲自配置,也可下载博主编译好的jar包。下载