机会是留给有准备的人的

人生一世 草生一秋 心之向往 无问东西

编译hadoop 2.x Hadoop-eclipse-plugin插件

经过hadoop1.x的发展,编译hadoop2.x版本的eclipse插件视乎比之前要轻松的多。如果你不在意编译过程中提示的警告,那么根据how to build - hadoop2x-eclipse-plugin文档就可一步到位。若想自己设置部分变量,可参考编译hadoop 1.2.1 Hadoop-eclipse-plugin插件。当然有问题及时和开发社区联系你会收到意想不到的收获.

主要步骤

  • 介质准备
  • 执行
  • 安装验证

具体操作

  1. 设置语言环境

    1
    $ export LC_ALL=en
  2. 检查ANT_HOME,JAVA_HOME

  3. 下载hadoop2x-eclipse-plugin
    目前hadoop2的eclipse-plugins源代码由github脱管,下载地址how to build - hadoop2x-eclipse-plugin 右侧的 “Download ZIP” 或者 克隆到桌面. 当然你也可以fork到你自己的帐户下,在使用git clone。

  4. 执行

    1
    2
    $ cd src/contrib/eclipse-plugin
    $ ant jar -Dversion=2.2.0 -Declipse.home=/opt/eclipse -Dhadoop.home=/usr/share/hadoop

    将上述java system property eclipse.home 和 hadoop.home 设置成你自己的环境路径。 执行上述命令可能很快或者很慢。请耐心等待。主要慢的target:ivy-download,ivy-resolve-common。最后jar生成在 $root/build/contrib/eclipse-plugin/hadoop-eclipse-plugin-2.2.0.jar路径下。

  5. 安装验证
    将生成好的jar,复制到${eclipse.home}/plugins目录下。启动eclipse,新建Map/Reduce Project,配置hadoop location.验证插件完全分布式的插件配置截图和core-site.xml端口配置。

  6. 效果图
    使用插件访问本地的伪分布式hadoop环境。查看文件texst1.txt和test2.txt同使用命令 hadoop dfs -ls /in 效果相同。 image

  7. 已编译的插件 hadoop-eclipse-plugin-2.2.0.jar

  8. 备注
    目前我在使用这个版本的插件时发现还时挺不稳定的。发现了两个缺陷。我的环境为:Java HotSpot™ 64-Bit Server VM、 eclipse-standard-kepler-SR1-macosx-cocoa、 hadoop2.2.0。

缺陷:

  • Editor could not be initalized.
  • NullPointException

截图如下: image

阅读更多
文章标签: Hadoop
个人分类: Hadoop
想对作者说点什么? 我来说一句

hadoop-eclipse-plugin-2.8.jar

2017年05月23日 35.78MB 下载

hadoop-eclipse-plugin-2.8.1.jar

2017年08月15日 35.51MB 下载

hadoop-eclipse-plugin-2.9.0.jar

2018年03月04日 39.24MB 下载

没有更多推荐了,返回首页

不良信息举报

编译hadoop 2.x Hadoop-eclipse-plugin插件

最多只允许输入30个字

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭