Hadoop eclipse插件编译过程

开题:创业1年,以失败告终,被收购了( 8) 不能说完全失败,但作为原始股东的我最终没分到一分钱。。可悲)。呵呵,回到正题,还是喜欢一个人研究各种技术,望有天可以真正的将一身所学用于实践。
到现在才学习Hadoop可能已经过时了,最近网上有很多人说学大数据应该学习spark了。本人也本着赶潮流的思维百度了一把,发现spark其实就是增强版的Hadoop。。。 :o ,好吧,那就还是安安心心的将Hadoop好好学习一下吧--毕竟我一贯的学习目标就是学思维模式,不是追赶潮流嘛
网上可用的视频等资料有点少,为了快速入门,还是找本PDF来的快(工作5年多,感觉很多知识都是通的,感觉知识的累计还是书入门的快一些);当然,在您还没有达到一定水平时还是先看看视频来的快,毕竟老师的讲解还是很详细的
这里推荐两本书《HADOOP权威指南》和《Hadoop实战》,写的不错,比较基础,对于有一定基础的童鞋入门是没有难度的。(这两本书我就看了2、3章左右吧,但越看越手痒,总想敲代码。。。可Hadoop的开发竟然跟其他的项目不太一样。。起码结构不太一样。。。)
菜鸟 :oops: 真是伤不起,先弄个eclipse插件来辅助一下吧。
由于弄这个插件浪费了我一些时间,这里就简单的记一下关键事项。有些步骤网上也有,大家见谅,我主要是用来自己备忘的
1、环境安装--JDK安装(最新版即可,不多说了,网上好多资料,太简单了)
2、环境安装--Hadoop安装(最新版即可,解压安装、配置等网上太多了,这里也不说了)
算了,还是再多说两句,配置项那一块大家最好一条一条的找google或baidu,对于初学者感觉还是有必要的
3、环境安装--Ant(最新版,解压安装,环境变量等配置,太简单了,不说了)
4、eclipse插件--去github上下载hadoop2x-eclipse-plugin-master
地址:https://github.com/winghc/hadoop2x-eclipse-plugin.git
由于都是java写的,系统无关
5、编译:
a、cmd或shell进入src\contrib\eclipse-plugin目录
b、修改build.xml,找到compile target,删除depend(网上很多人都是这么弄得,我照做了,懒得追了)
c、运行指令:
ant jar -Dversion=2.7.3 -Declipse.home=D:\soft\eclipse-jee-kepler-SR2-win32-x86_64\eclipse -Dhadoop.home=D:\soft\hadoop\hadoop-2.7.3\hadoop-2.7.3

版本号和路径改成自己的
d、查看过程,有两种报错,eclipse jar找不到或者hadoop依赖包找不到,本人试过最新版的eclipse Neon,由于插件编译过程会参考eclipse目录的plugins目录下的相关jar,最新版的eclipse结构变化,已经将那些jar隐藏了;所以想要正确安装还得下一个稍微旧版的eclipse,我试了,稍微旧一些的都没问题。只有最新的有点问题--jar拷过去也不管用
e、 hadoop依赖包的问题
src的同级目录ivy目录(hadoop2x-eclipse-plugin-master\ivy)下的libraries.properties中有对应的版本。插件编译过程中会参考这个文件里的版本信息,这里需要将版本号修改成hadoop真是路径下的版本号,目录:
hadoop-2.7.3\share\hadoop\common

f、一切没问题,你要的jar就在
hadoop2x-eclipse-plugin-master\build\contrib\eclipse-plugin

赶紧拷贝到eclipse plugins中去试试Hadoop工程吧
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值