来自http://www.cnblogs.com/alex-blog/p/3160619.html
在ubuntu上进行hadoop相关的开发,需要在eclipse上安装hadoop开发插件。最新释放出的hadoop包含源码的包,以hadoop-1.1.1为例,包含相关的eclipse插件的源码,因此可以针对自己的eclipse版本来编译一个hadoop的eclipse插件,我的eclipse的版本代号为indigo,以此为例,下面详细介绍插件的编译安装过程。
一. 下载hadoop-1.2.1
我的下载地址为:(http://www.fayea.com/apache-mirror/hadoop/common/stable/hadoop-1.2.1.tar.gz )下载完成后解压到文件目录下
二. 安装ant
# sudo apt-get install ant。
三. 修改编译配置文件
在hadoop解压目录下,找到src\contrib\eclipse-plugin\build.xml,修改以下几行:
<path id="hadoop-core-jar">
<fileset dir="${hadoop.root}/">
<include name="hadoop*.jar"/>
</fileset>
</path>
<!-- Override classpath to include Eclipse SDK jars -->
<path id="classpath">
<pathelement location="${build.classes}"/>
<pathelement location="${hadoop.root}/build/classes"/>
<path refid="eclipse-sdk-jars"/>
<path refid="hadoop-core-jar"/>
</path>
......
<target name="jar" depends="compile" unless="skip.contrib">
<mkdir dir="${build.dir}/lib"/>
<copy file="${hadoop.root}/hadoop-core-${version}.jar" tofile="${build.dir}/lib/hadoop-core.jar" verbose="true"/>
<copy file="${hadoop.root}/lib/commons-cli-1.2.jar" todir="${build.dir}/lib" verbose="true"/>
<copy file="${hadoop.root}/lib/commons-lang-2.4.jar" todir="${build.dir}/lib" verbose="true"/>
<copy file="${hadoop.root}/lib/commons-configuration-1.6.jar" todir="${build.dir}/lib" verbose="true"/>
<copy file="${hadoop.root}/lib/jackson-mapper-asl-1.8.8.jar" todir="${build.dir}/lib" verbose="true"/>
<copy file="${hadoop.root}/lib/jackson-core-asl-1.8.8.jar" todir="${build.dir}/lib" verbose="true"/>
<copy file="${hadoop.root}/lib/commons-httpclient-3.0.1.jar" todir="${build.dir}/lib" verbose="true"/>
<jar
jarfile="${build.dir}/hadoop-${name}-${version}.jar"
manifest="${root}/META-INF/MANIFEST.MF">
<fileset dir="${build.dir}" includes="classes/ lib/"/>
<fileset dir="${root}" includes="resources/ plugin.xml"/>
</jar>
</target>
找到src\contrib\build-contrib.xml,添加以下几行:
<property name="version" value="1.2.1"/> <property name="ivy.version" value="2.1.0"/> <property name="eclipse.home" location="..."/>
eclipse的路径请换成你主机上的eclipse存放路径。
然后,打开命令行,进入目录\src\contrib\eclipse-plugin,输入ant编译,如果一切正常就编译通过了。
最后可以在{hadoophome}\build\contrib\eclipse-plugin路径下找到编译好的插件。
四. 几个注意点
1. 一定要在网络环境下进行,如果需要设置上网代理,可以在src\contrib\build-contrib.xml中添加如下几行:
<target name="proxy" > <property name="proxy.host" value=""/> <property name="proxy.port" value="80"/> <property name="proxy.user" value=""/> <property name="proxy.pass" value=""/> <setproxy proxyhost="${proxy.host}" proxyport="${proxy.port}" proxyuser="${proxy.user}" proxypassword="${proxy.pass}"/> </target>
在xml文件中的ivy相关文件的下载任务中,添加以上代理任务的依赖,配置为:
<target name="ivy-download" depends="proxy" description="To download ivy " unless="offline"> <get src="${ivy_repo_url}" dest="${ivy.jar}" usetimestamp="true"/> </target>
2. 如果出现编译提示类的版本不匹配的问题,请确认你的java版本大于1.6。
打包后的插件下载地址:
http://files.cnblogs.com/alex-blog/hadoop-eclipse-plugin-1.2.1.zip