在网上看了几篇博客后终于将hadoop-eclipse-plugin插件编译好了,记录一下。
我编译好的插件是Hadoop2.8.5版本的,地址: https://github.com/xiaomoo/oeasy/Hadoop2.8.5-eclipse-plugin 在build/contrib/eclipse-plugin目录下
可以用git clone https://github.com/xiaomoo/oeasy/Hadoop2.8.5-eclipse-plugin 拉到本地仓库
如果需要其他版本的可以按照下面的编译步骤进行编译。
eclipse,JDK一般都有安装这里就省去了,我用的是eclipse-jee-photon-R-win32-x86_64,版本是4.8.0
jdk用的是1.8.0_191
编译准备:
Hadoop2.8.5下载 https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.8.5/hadoop-2.8.5.tar.gz
apache-ant-1.10.5下载
https://www.apache.org/dist/ant/binaries/
Hadoop2x-eclipse-plugin下载
https://github.com/xiaomoo/oeasy/Hadoop2x-eclipse-plugin
我下载的是hadoop-2.8.5.tar.gz和apache-ant-1.10.5-bin.zip,如果要编译其他版本的可以换成其他版本的Hadoop。
安装ANT:
解压apache-ant-1.10.5-bin.zip到D盘
配置环境变量:
ANT_HOME D:\apache-ant-1.10.5
Path %ANT_HOME%\bin
CLASSPATH %ANT_HOME%\lib
打开cmd运行ant -version验证安装
这里如果报错:
检查jdk的环境变量,有没有空格或者分号。
然后,解压Hadoop2.8.5到D盘,这里需要下载Hadoop到win7上是因为eclipse在编程的时候需要依赖它的一些依赖包。
解压完成后,开始编译:
首先,进入Hadoop2x-eclipse-plugin目录,在src\contrib用notepad++或者记事本打开build-contrib.xml,添加eclipse的路径和版本号:
<property name="eclipse.home" location="D:\eclipse" />
<property name="version" value="4.8.0" />
以及Hadoop的本地路径:
<property name="hadoop.home" location="D:\hadoop-2.8.5" />
如下图:
然后,进入eclipse-plugin目录,打开build.xml添加hadoop目录下的java包,hadoop包的路径在share/hadoop/common/lib下
之后再下面添加它的classpath:
接着,进入Hadoop2x-eclipse-plugin/ivy路径下找到libraries.properties文件并打开,将版本改成你Hadoop目录下的版本
最后,打开CMD,用CMD进入到hadoop2.8.5-eclipse-plugin\src\contrib\eclipse-plugin路径下执行
ant jar
进行编译。
编译成功之后,会在Hadoop2x-eclipse-plugin目录下生成一个build的目录,进入build/contrib/eclipse-plugin路径有一个编译好的hadoop-eclipse-plugin-版本号.jar,将它拷贝到你的eclipse目录下的plugins目录中
接着,打开或者重启eclipse,
或者在window–>perspective–>openperspective–>other找到Map/Reduce:
会在侧边栏生成一个小象的标志,
在下边拦有个Map/Reduce Locations
在这里可以连接集群地址
之后可以在左侧栏上出现HDFS的文件路径
至此,eclipse集成Hadoop环境就完成了。