Linux下Ant编译Hadoop-eclipse-plugin-2.x.x.jar插件

一、介绍

因为一开始想做关于MapReduce任务的远程提交,在这个过程中有幸试验了Hadoop2.x 版本的eclipse 插件的编译方法,这里总结一下,方便新手学习

二、过程

1、下载Hadoop2.x plugin的源代码:https://github.com/winghc/hadoop2x-eclipse-plugin,并解压到相应的文件夹内

2、安装ant,该步骤用户可以自己去百度一下

3、进入到该文件夹中,然后进入ivy文件夹中,通过vim编译器开发libraries.properties,该文件中记录了对Hadoop2.x编译插件时所需要的模块jar包的版本号,这里我们需要一个个都对比进行修改。主要修改的下面三个组件的版本:

#htrace.version=3.0.4
htrace.version=3.1.0-incubating
#slf4j-api.version=1.7.5
#slf4j-log4j12.version=1.7.5
slf4j-api.version=1.7.10
slf4j-log4j12.version=1.7.10
#号表示原来的版本后,而紧跟着的语句则是hadoop-2.7.1中使用的版本,不过觉得最好是用户将有的jar包进行对比

4、进行编辑打包

(1)从ivy文件夹中,进入到 ../src/contrib/eclipse-plugin/ 文件夹中,在该文件夹中执行下属的命令:

ant jar -Dversion=2.7.1 -Dhadoop.version=2.7.1 -Declipse.home=/opt/eclipse -Dhadoop.home=/opt/hadoop-2.7.1

在该命令中,hadoop.version执行hadoop的版本号,eclipse.home指定eclipse的家目录位置,编译过程中需要使用eclipse相应的jar,hadoop.home则是编译过程中刚才修改的build.xml文件中jar包的来源位置。执行完这个命令以后,会发现会一直停留在一个 commons的位置上,这是因为缺少相关编译操作所致。

(2)修改build.xml文件,

打开build.xml文件,找到下面的位置:

<target name="compile" depends="init, ivy-retrieve-common" unless="skip.contrib">
    <echo message="contrib: ${name}"/>
    <javac
     encoding="${build.encoding}"
     srcdir="${src.dir}"
     includes="**/*.java"
     destdir="${build.classes}"
     debug="${javac.debug}"
     deprecation="${javac.deprecation}">
     <classpath refid="classpath"/>
    </javac>
  </target>
这ant编译中 depends中的两个选项都是buld.xml文件中的target标签动作,即<target name="init"></target>,但是该文件中并没有含有相关的操作,因此需要把这两个以来进行删除,然后保存文件

(3)继续进行编译

然后重新执行上述的编译命令,然后就会编译成功,然后回到项目的更目录下,然后进入到build文件中,就能看到相应的编译过程和最后的jar包。

5、修改编译jar包

当编译出自己的jar后,发现在连接hdfs是出现NullExpection的异常,笔者与网上下载的插件jar进行了对比,发现了少了三个jar包:

servlet-api-2.5.jar
commons-httpclient-3.1.jar
commons-io-2.4.jar
就是因为少了这三个jar包,因此插件在于hdfs进行连接的过程中出现异常报错。所以要重新修改我们所编译的jar包:

(1)回到项目根目录中,然后进入build/lib 文件夹中,然后从hadoop中将缺少的三个包文件添加到该文件夹中

(2)进入到../../src/contrib/eclipse-plugin/ 文件夹中,然后重新进行编译,然后就会生成新的插件jar包。

(3)将该插件放到windows环境下,使用压缩工具打开,查看插件中是否含有45个jar包,即是否包含了上述缺少的三个jar包

(4)然后进入到META-INF文件夹中,通过查看器对MANIFEST.MF 文件进行修改:

Bundle-ClassPath: classes/,  lib/hadoop-mapreduce-client-core-2.7.1.ja
 r,  lib/hadoop-mapreduce-client-common-2.7.1.jar,  lib/hadoop-mapredu
 ce-client-jobclient-2.7.1.jar,  lib/hadoop-auth-2.7.1.jar,  lib/hadoo
 p-common-2.7.1.jar,  lib/hadoop-hdfs-2.7.1.jar,  lib/protobuf-java-2.
 5.0.jar,  lib/log4j-1.2.17.jar,  lib/commons-cli-1.2.jar,  lib/common
 s-configuration-1.6.jar,  lib/commons-httpclient-3.1.jar,  lib/common
 s-lang-2.6.jar,  lib/commons-io-2.4.jar,  lib/commons-collections-3.2
 .1.jar,  lib/jackson-core-asl-1.9.13.jar,  lib/jackson-mapper-asl-1.9
 .13.jar,  lib/slf4j-log4j12-1.7.10.jar,  lib/slf4j-api-1.7.10.jar,  l
 ib/guava-11.0.2.jar,  lib/netty-3.6.2.Final.jar,  lib/htrace-core-3.1
 .0-incubating.jar,  lib/servlet-api-2.5.jar

将着三个jar包放入到也放入到上述的环境变量中,完后修改后该 hadoop 2.7.1 的ecplse插件就可以使用了




评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值