编译hadoop2.x的hadoop-eclipse-plugin和配置

为什么80%的码农都做不了架构师？>>>   

一、编译

1.安装jdk，并且配置好环境变量。

2.eclipse已经下载并且配置好了。

3.安装ant，并且配置好了环境变量。

4.hadoop包在windows本地已经有了，要和hadoop集群上的hadoop包一样，eclipse运行MapReduce时需要调用本地的hadoop包。

5.下载hadoop2x-eclipse-plugin源代码，目前hadoop2的eclipse-plugins源代码由github脱管，下载地址是：https://github.com/winghc/hadoop2x-eclipse-plugin，然后在右侧的Download ZIP连接点击下载，并且解压hadoop2x-eclipse-plugin-master.zip。

6.这一步尽量先不做，能直接编译成功最好，因为有些时候去掉这个会出点问题。有些时候换个网络可能就会编译成功了。切换到hadoop2x-eclipse-plugin-master\src\contrib\eclipse-plugin 目录，修改build.xml文件，找到

<target name="compile" depends="init, ivy-retrieve-common" unless="skip.contrib">

去掉depends="init, ivy-retrieve-common"，修改为如下内容：

<target name="compile" unless="skip.contrib">

7.编译hadoop-eclipse-plugin插件，打开命令行cmd，切换到hadoop2x-eclipse-plugin-master\src\contrib\eclipse-plugin 目录，执行命令：

ant jar -Dversion=2.6.0 -Declipse.home=E:\programs\eclipse -Dhadoop.home=E:\programs\hadoop-2.6.0

执行的时候出现过找不到build目录，后面重新执行一下又可以，想不通为什么。

8.找到编译的包，在hadoop2x-eclipse-plugin-master\build\contrib\eclipse-plugin目录下。

参考文章：windows编译hadoop 2.x Hadoop-eclipse-plugin插件

二、配置

安装好了hadoop插件之后，就是配置使用hadoop插件了，除了在linux要安装hadoop，在我们的eclipse开发电脑上也需要有hadoop的安装目录，而且版本必须和集群上一样。

参考文章：Hadoop集群（第7期）_Eclipse开发环境设置，拉到“2.4 Eclipse插件开发配置”这一小节，第二步开始，第一步可以省略。

新建Map/Reduce locations的配置

Map/Reduce(V2) Master

hadoop1.x:和mapred-site.xml的mapreduce.jobtracker.address对应。

hadoop2.x:和hdfs-site.xml的mapred.job.tracker.http.address对应。

注意：有些时候Map/Reduce(V2) Master的端口配错了，一样可以在eclipse运行程序。

DFS Master

hadoop1.x:和core-site.xml的fs.default.name对应。

hadoop2.x:和hdfs-site.xml的dfs.namenode.rpc-address对应。

转载于:https://my.oschina.net/cjun/blog/475287