编译hadoop 2.x Hadoop-eclipse-plugin插件

转载 2015年07月10日 16:19:31

经过hadoop1.x的发展,编译hadoop2.x版本的eclipse插件视乎比之前要轻松的多。如果你不在意编译过程中提示的警告,那么根据how to build - hadoop2x-eclipse-plugin文档就可一步到位。若想自己设置部分变量,可参考编译hadoop 1.2.1 Hadoop-eclipse-plugin插件。当然有问题及时和开发社区联系你会收到意想不到的收获.

主要步骤

  • 介质准备
  • 执行
  • 安装验证

具体操作

  1. 设置语言环境

    1
    $ export LC_ALL=en
  2. 检查ANT_HOME,JAVA_HOME

  3. 下载hadoop2x-eclipse-plugin
    目前hadoop2的eclipse-plugins源代码由github脱管,下载地址how to build - hadoop2x-eclipse-plugin 右侧的 “Download ZIP” 或者 克隆到桌面. 当然你也可以fork到你自己的帐户下,在使用git clone。

  4. 执行

    1
    2
    $ cd src/contrib/eclipse-plugin
    $ ant jar -Dversion=2.2.0 -Declipse.home=/opt/eclipse -Dhadoop.home=/usr/share/hadoop

    将上述java system property eclipse.home 和 hadoop.home 设置成你自己的环境路径。 执行上述命令可能很快或者很慢。请耐心等待。主要慢的target:ivy-download,ivy-resolve-common。最后jar生成在 $root/build/contrib/eclipse-plugin/hadoop-eclipse-plugin-2.2.0.jar路径下。

  5. 安装验证
    将生成好的jar,复制到${eclipse.home}/plugins目录下。启动eclipse,新建Map/Reduce Project,配置hadoop location.验证插件完全分布式的插件配置截图和core-site.xml端口配置。

  6. 效果图
    使用插件访问本地的伪分布式hadoop环境。查看文件texst1.txt和test2.txt同使用命令 hadoop dfs -ls /in 效果相同。 image

  7. 已编译的插件 hadoop-eclipse-plugin-2.2.0.jar

  8. 备注
    目前我在使用这个版本的插件时发现还时挺不稳定的。发现了两个缺陷。我的环境为:Java HotSpot™ 64-Bit Server VM、 eclipse-standard-kepler-SR1-macosx-cocoa、 hadoop2.2.0。

缺陷:

  • Editor could not be initalized.
  • NullPointException

截图如下: image

hadoop2x-eclipse-plugin.zip

  • 2014年09月15日 10:06
  • 45.59MB
  • 下载

windows编译hadoop 2.x Hadoop-eclipse-plugin插件

Hadoop2.x之后没有Eclipse插件工具,我们就不能在Eclipse上调试代码,我们要把写好的java代码的MapReduce打包成jar然后在Linux上运行,所以这种不方便我们调试代码,所...
  • congcong68
  • congcong68
  • 2014年12月23日 08:59
  • 7447

编译hadoop-eclipse-plugin2x插件及eclipse配置hadoop

编译一个小小的插件对于出学者来说,可能会出现很多问题,为了大家可以顺利使用eclipse操作hadoop,请看如下编译过程 说明: 我的系统是ubuntu14.04 hadoop版本是hadoo...
  • z595054650
  • z595054650
  • 2015年05月27日 20:56
  • 854

hadoop2x-eclipse-plugin在hadoop 2.7下编译

eclipse下开发hadoop有个hadoop2x-eclipse-plugin插件,可以帮助我们在hadoop集群上运行调试我们的程序,其项目地址为https://github.com/wingh...
  • StormrageWang
  • StormrageWang
  • 2016年03月09日 12:56
  • 4709

Linux下编译使用hadoop-2.6.0 Eclipse插件(一):编译

Hadoop之——hadoop2.5.2eclipse插件编译
  • u013014440
  • u013014440
  • 2016年07月29日 10:39
  • 718

hadoop2.6.0 - eclipse插件下载、编译、安装、配置

hadoop2.6.0 - eclipse插件下载、编译、安装 作者:易文俊 Email:yiwenjun@126.com 截止目前(2015-02-10)为止,hadoop最新版本...
  • yiwenjun2008
  • yiwenjun2008
  • 2015年02月09日 23:47
  • 2980

hadoop-eclipse-plugin-2.x.x 插件编译

在网上找的hadoop for eclipse 插件都不能用,决定自己去编译一个。Hadoop 提供了一个 Eclipse 插件以方便用户在 Eclipse 集成开发环境中使用 Hadoop,如管理 ...
  • u013067629
  • u013067629
  • 2017年01月11日 10:04
  • 1844

搭建Hadoop2.7.2开发环境1(编译Eclipse中hadoop插件hadoop2x-eclipse-plugin)

搭建Hadoop2.7.2开发环境1(编译Eclipse中hadoop插件hadoop2x-eclipse-plugin)
  • fxsdbt520
  • fxsdbt520
  • 2016年03月12日 13:41
  • 3697

在Ubuntu下安装eclipse并为eclipse配置hadoop开发环境(关于eclipse下无法找到hadoop插件的解决办法)

2、为eclipse配置hadoop开发环境 (1)安装hadoop插件 下载hadoop在eclipse下的插件,我的插件是:hadoop-eclipse-plugin-1.2.1.jar,下载...
  • mbshqqb
  • mbshqqb
  • 2017年01月31日 09:38
  • 752

Mac环境下Hadoop与Eclipse的集成

在这一节中我们来说一下应该怎样把Hadoop集成到Eclipse中的,在官方中提供的有相关插件来集成eclipse的,但都是对Hadoop1.x的集成,下面我们进行自己适合版本的插件的生成。 如图: ...
  • luo849278597
  • luo849278597
  • 2015年06月19日 23:54
  • 1163
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:编译hadoop 2.x Hadoop-eclipse-plugin插件
举报原因:
原因补充:

(最多只允许输入30个字)