hadoop2.X的eclipse插件的编译与配置

       从hadoop 0.20.203以后,hadoop的发布包里,不再对eclipse插件进行jar包发布,而是给出了打包的代码,需要各位开发人员自己进行打包和设置。
        原因是比较简单的,因为开发人员手中的eclipse版本千差万别,而插件又强烈依赖于eclipse版本号,如果强行进行打包,那么遇到的各种诡异的问题可能也无法避免和得到妥善解决。所以我们只能自行编译eclipse插件。

一.编译环境

os:ubuntu 14.04
jdk:1.8.0_25
ant:1.9.4
hadoop:hadoop-2.5.1
eclipse:luna-4.4.1
工具:hadoop2x-eclipse-plugin-master[下载](https://github.com/winghc/hadoop2x-eclipse-plugin/tree/master%20%E4%B8%8B%E8%BD%BD%E5%9C%B0%E5%9D%80)(注:此工具为官方提供的编译工具)

编译开始之前,首先你需要确保你的jdk、ant、eclipse以及hadoop已经正确安装配置。

1)解压工具并设置编译配置

  将上述编译工具解压到安装目录下,打开{hadoop2x-eclipse-plugin-master-root}/ivy/libraries.properties
  cd {hadoop2x-eclipse-plugin-master-root}/ivy/
  sudo gedit libraries.properties
  将文本中各jar包的版本对应更改为需要编译的{hadoop-2.5.1-root}/share/hadoop/.../lib 中各个jar包的版本
  其次,进入{hadoop2x-eclipse-plugin-master-root}/src/contrib/eclipse-plugin,打开build.xml文件
  cd {hadoop2x-eclipse-plugin-master-root}/src/contrib/eclipse-plugin
  sudo gedit build.xml
  在<project default="jar" name="eclipse-plugin">之后添加 <property name="eclipse.home" location="/usr/local/eclipse"/>(指明eclipse的安装根目录)及<property name="version" value="2.5.1"/>(指明你要编译的hadoop版本)

2)编译

    进入{hadoop2x-eclipse-plugin-master-root}/src/contrib/eclipse-plugin
    cd {hadoop2x-eclipse-plugin-master-root}/src/contrib/eclipse-plugin
    执行ant编译命令 ant jar -Dversion=2.5.1 -Dhadoop.version=2.5.1 -Declipse.home={eclipse-root} -Dhadoop.home={hadoop-root}/hadoop-2.5.1
    其中,-version是指你要生成的插件的版本
         -hadoop.version指的是你所编译的hadoop的版本
         -eclipse.home指的是你安装的eclipse的根目录
         -hadoop.home指的是你安装的hadoop的根目录

大概半分钟左右就可以看到生成的hadoop-eclipse-plugin-2.5.1.jar在{hadoop2x-eclipse-plugin-master-root}/build/contrib/eclipse-plugin下。

二.插件配置及使用

将生成的hadoop-eclipse-plugin-2.5.1.jar文件放到Eclipse的plugins目录下,重启Eclipse即可看到该插件已生效。

通过Open Perspective菜单打开Map Reduce视图,如下:
这里写图片描述

选中大象图标,右键点击先新建location并编辑Hadoop配置信息(之后可以右键点击edit编辑配置信息):
这里写图片描述

填写正确的Map/Reduce和HDFS信息。(具体根据您的配置而定)

这里写图片描述

4) 新建简单Mapreduce项目

通过向导新建一个Map/Reduce项目。在此过程中,请配置Hadoop的安装路径。
这里写图片描述

5) 通过Eclipse访问DFS

打开Resource视图,即可看到DFS:

这里写图片描述
此时,你可对DFS进行一些操作,比如上传本地文件到HDFS等等,如下图:
这里写图片描述

至此,Hadoop的开发环境大致配置完成。

本文插件配置部分有参考,原文地址
配置Hadoop开发环境(Eclipse)
,感谢网友zythy的文章。

如有网友不愿亲自配置,也可下载博主编译好的jar包。下载

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值