hadoop上eclipse开发环境搭建

hadoop上eclipse开发环境搭建

1、下载安装eclipse并创建桌面快捷方式

2、ant环境配置

apache-ant-1.9.4-bin.zip解压到/usr/local/目录下，

配置环境变量ANT_HOME,并将bin目录配置到path

下载地址：http://mirror.bit.edu.cn/apache//ant/binaries/apache-ant-1.9.4-bin.zip

3、下载hadoop-eclipse-plugin插件

hadoop-eclipse-plugin是一个专门用于eclipse的hadoop插件，可以直接在IDE环境中查看hdfs的目录和文件内容。其源代码托管于github上，官网地址是https://github.com/winghc/hadoop2x-eclipse-plugin

但如果只是使用https://github.com/winghc/hadoop2x-eclipse-plugin/tree/master/release 这里已经提供了各种编译好的版本，直接用就行。目前只有2.2.0/ 2.4.1/ 2.6.0 三个版本。

自己编译hadoop-eclipse-plugin插件2.5.2版本

1、修改编译包及依赖包版本信息

修改 "/usr/local/hadoop2x-eclipse-plugin-master/ivy/libraries.properties"

hadoop.version=2.5.2

jackson.version=1.9.13

 

hadoop2.5.2编译eclipse plugin的时候，build.xml中这一行要注释掉：

<copyfile="${hadoop.home}/share/hadoop/common/lib/htrace-core-${htrace.version}.jar"todir="${build.dir}/lib" verbose="true"/>

这一行是2.6版的。

2、ant编译

Cd /usr/local/hadoop2x-eclipse-plugin-master/src/contrib/eclipse-plugin

ant jar-Dversion=2.5.2 -Declipse.home= /usr/local/eclipse/eclipse -Dhadoop.home= /home/hadoop/download/hadoop-2.5.2/

 

3、编译好后hadoop-eclipse-plugin-2.5.2.jar会在/usr/local/hadoop2x-eclipse-plugin-master/build/contrib/eclipse-plugin/目录下

 

eclipse环境配置

1.将编译好的hadoop-eclipse-plugin-2.5.2.jar拷贝至eclipse的plugins目录下，然后重启eclipse

2.打开菜单Window--Preference--HadoopMap/Reduce进行配置，如下图所示：

注意：不过若要调试HADOOP程序，还需要配置参数，指定Hadoop的软件安装路径，注意本步只是要指定Hadoop软件的路径，并不是要配置HADOOP环境，只需要下载(或复制)一份hadoop文件即可

3.显示Hadoop连接配置窗口：Window--ShowView--Other-MapReduce Tools,如下图所示：

4.配置连接Hadoop，如下图所示：

Location name：为配置的路径指定一个名称，名称可以自定义。

Map/Reduce Master：根据hadoop环境中namenode节点conf/mapred-site.xml文件中的配置而定，指定为mapred.job.tracker参数的值；

DFS Master：根据hadoop环境中namenode节点conf/core-site.xml文件中的配置而定，指定为fs.default.name的值；

 

User name：指定操作用户，一般默认此处显示为操作系统用户名；

5.查看是否连接成功，能看到如下信息，则表示连接成功：