编译过程
目录结构
eclipse目录 D:\Hadoop\eclipse-java-kepler-R-win32\eclipse
eclipse工程目录 D:\Hadoop\wk_hadoop
大家可以下载我的工程和编译好的插件,工程下载地址:http://pan.baidu.com/share/link?shareid=2533684141&uk=2399653584
插件下载地址:http://pan.baidu.com/share/link?shareid=2552850400&uk=2399653584
1. 导入 Hadoop-eclipse 插件工程
获取 hadoop-1.2.1.tar.gz
解压缩到 D:\Hadoop 目录下
在 Eclipse 中选择 File—>Import—>Existing Projects into Workspace 导入已有项目,路径为: D:\Hadoop\hadoop-1.2.1\src\contrib\eclipse-plugin,其默认的项目名称是 MapReduceTools
2. 导入所需 jar 包
如果不调试插件可以不用做着一步。
在项目 MapReduceTools 中新建 lib 目录,将 hadoop-1.2.1 下的 hadoop-core-1.2.1.jar(重命名为 hadoop.core.jar),及其 lib 目录下的 commons-cli-1.2.jar、commons-lang-2.4.jar、commons-configuration-1.6.jar、jackson-mapper-asl-1.8.8.jar、jackson-core-asl-1.8.8.jar、commons-httpclient-3.0.1.jar 拷贝到该目录。
3. 修改build-contrib.xml
将 D:\Hadoop\hadoop-1.2.1\src\contrib\build-contrib.xml(与 eclipse-plugin 包在同一级目录)拷贝到 MapReduceTools 项目目录中。
修改 build-contrib.xml,注意路径用 "/"
<!— 修改 hadoop 存放目录—> <property name="hadoop.root" location="D:/Hadoop/hadoop-1.2.1"/> <!— 添加 eclipse 存放目录—> <property name="eclipse.home" location="D:/Hadoop/eclipse-java-kepler-R-win32/eclipse" /> <!— 添加 hadoop 版本—> <property name="version" value="1.2.1" />
4. 修改build.xml
<!— 1.修改 build-contrib.xml 的位置,去掉"../"—> <import file="build-contrib.xml"/> <!— 2.添加如下,否则提示"软件包 org.apache.hadoop.fs 不存在"—> <path id="hadoop-jars"> <fileset dir="${hadoop.root}/"> <include name="hadoop-*.jar"/> </fileset> </path> <path id="classpath"> <pathelement location="${build.classes}"/> <pathelement location="${hadoop.root}/build/classes"/> <path refid="eclipse-sdk-jars"/> <path refid="hadoop-jars"/> </path> <!— 3.修改并添加 jar 包拷贝—> <target name="jar" depends="compile" unless="skip.contrib"> <mkdir dir="${build.dir}/lib"/> <copy file="${hadoop.root}/hadoop-core-${version}.jar" tofile="${build.dir}/lib/hadoop-core.jar" verbose=""true"/> <copy file="${hadoop.root}/lib/commons-cli-1.2.jar" todir="${build.dir}/lib" verbose="true"/> <copy file="${hadoop.root}/lib/commons-lang-2.4.jar" todir="${build.dir}/lib" verbose="true"/> <copy file="${hadoop.root}/lib/commons-configuration-1.6.jar" todir="${build.dir}/lib" verbose="true"/> <copy file="${hadoop.root}/lib/jackson-mapper-asl-1.8.8.jar" todir="${build.dir}/lib" verbose="true"/> <copy file="${hadoop.root}/lib/jackson-core-asl-1.8.8.jar" todir="${build.dir}/lib" verbose="true"/> <copy file="${hadoop.root}/lib/commons-httpclient-3.0.1.jar" todir="${build.dir}/lib" verbose="true"/> <jar jarfile="${build.dir}/hadoop-${name}-${version}.jar" manifest="${root}/META-INF/MANIFEST.MF"> <fileset dir="${build.dir}" includes="classes/ lib/"/> <fileset dir="${root}" includes="resources/ plugin.xml"/> </jar> </target>
5. 修改MANIFEST.MF
修改 META-INF/MANIFEST.MF
Bundle-ClassPath: classes/, lib/hadoop-core.jar , lib/commons-cli-1.2.jar , lib/commons-httpclient-3.0.1.jar , lib/jackson-core-asl-1.8.8.jar , lib/jackson-mapper-asl-1.8.8.jar, lib/commons-configuration-1.6.jar, lib/commons-lang-2.4.jar
6. Ant 编译
右键点击build.xml文件->Run as->Ant build, 编译成功会输出 BUILD SUCCESSFUL ^^
7. 安装插件
编译结果D:\Hadoop\hadoop-1.2.1\build\contrib\eclipse-plugin\hadoop-eclipse-plugin-1.2.1.jar 放入 D:\Hadoop\eclipse-java-kepler-R-win32\eclipse\plugins 目录下,重启 eclipse
8. 配置插件
打开 map/Reduce Locations
右键 New Hadoop Location…,输入 Location Name(见名知意),修改 Map/Reduce Master 和 DFS Master,User name 设置为你启动 hadoop 的名称。
设置 Advanced parameters
修改 hadoop.tmp.dir 为你 hadoop 集群中设置的目录
修改 dfs.replication 为你 hdfs-site.xml 文件中配置的值
重启 eclipse