自己动手安装高版本hadoop-eclipse插件

jar包下载地址：http://download.csdn.net/detail/chabale/5345502
由于开发人员使用不同的eclipse版本，hadoop自0.20.x版本后不再提供现成的hadoop-eclipse插件而是给出了源码自行编译。

一、编译hadoop-eclipse-plugin-1.1.2.jar插件

(一)、building hadoop

1、编辑{HADOOP_HOME}/build.xml

(1)、对31行的hadoop版本做修改

<property name="version"value="1.1.2-SNAPSHOT"/>

修改为：

<property name="version"value="1.1.2"/>

(2)、对2418行的ivy下载进行注释，因为已经包含了ivy.jar

  <!--target name="ivy-download"description="To download ivy"unless="offline">
   <get src="${ivy_repo_url}" dest="${ivy.jar}"usetimestamp="true"/>
  </target-->

(3)、对2426行去除对ivy-download的依赖关系，保留如下：
    <target name="ivy-init-antlib"depends="ivy-init-dirs,ivy-probe-antlib"

2、 编辑 {HADOOP_HOME}/src/contrib./build-contrib.xml

添加红色字体的两行，补充Eclipse路径和Hadoop版本

<projectname="hadoopbuildcontrib"xmlns:ivy="antlib:org.apache.ivy.ant">

 

  <propertyname="eclipse.home"location="eclipse的安装目录"/>

  <propertyname="version"value="1.1.2"/>   //build的hadoop的版本号

  <propertyname="name"value="${ant.project.name}"/>

  <propertyname="root"value="${basedir}"/>

  <propertyname="hadoop.root"location="${root}/../../../"/>

...

</project>

3、building hadoop

cd ${HADOOP-HOME}

ant compile

(二)、building eclipse-plugin for hadoop

1、修改${HADOOP_HOME}/src/contrib/eclipse-plugin/build.xml

加入下面红色字体的几行，指定添加的jar包：

<!-- Override jar target to specify manifest -->
  <target name="jar" depends="compile" unless="skip.contrib">
    <mkdir dir="${build.dir}/lib"/>
    <copy file="${hadoop.root}/build/hadoop-core-${version}.jar" tofile="${build.dir}/lib/hadoop-core.jar" verbose="true"/>
    <copy file="${hadoop.root}/build/ivy/lib/Hadoop/common/commons-cli-${commons-cli.version}.jar"  todir="${build.dir}/lib" verbose="true"/>
   <copy file="${hadoop.root}/lib/commons-configuration-1.6.jar" tofile="${build.dir}/lib/commons-configuration-1.6.jar" verbose="true"/>
   <copy file="${hadoop.root}/lib/commons-httpclient-3.0.1.jar" tofile="${build.dir}/lib/commons-httpclient-3.0.1.jar" verbose="true"/>
   <copy file="${hadoop.root}/lib/commons-lang-2.4.jar" tofile="${build.dir}/lib/commons-lang-2.4.jar" verbose="true"/>
   <copy file="${hadoop.root}/lib/jackson-core-asl-1.8.8.jar" tofile="${build.dir}/lib/jackson-core-asl-1.8.8.jar" verbose="true"/>
   <copy file="${hadoop.root}/lib/jackson-mapper-asl-1.8.8.jar" tofile="${build.dir}/lib/jackson-mapper-asl-1.8.8.jar" verbose="true"/>    
<jar
      jarfile="${build.dir}/hadoop-${name}-${version}.jar"
      manifest="${root}/META-INF/MANIFEST.MF">
      <fileset dir="${build.dir}" includes="classes/ lib/"/>
      <fileset dir="${root}" includes="resources/ plugin.xml"/>
 </jar>
  </target>

2、修改${HADOOP_HOME}/src/contrib/eclipse-plugin/META-INF/MENIFEST.MF，指定CLASS_PATH

Bundle-ClassPath: classes/,
 lib/hadoop-core.jar,lib/commons-configuration-1.6.jar,lib/commons-httpclient-3.0.1.jar,lib/commons-lang-2.4.jar,lib/jackson-core-asl-1.8.8.jar,lib/jackson-mapper-asl-1.8.8.jar,lib/commons-cli-1.2.jar

3、building

cd ${HADOOP_HOME}/usr/contrib/eclipse-plugin

ant jar

building输出的eclipse插件：${HADOOP_HOME}/build/contrib/eclipse-plugin/hadoop-eclipse-plugin-1.1.2.jar

将生成好的jar拷贝到：eclipse安装目录下的dropins目录下，重启eclipse，如果没有生效通过eclipse -clean使其生效

cmd：进入eclipse安装目录

eclipse -clean

Location name:这个可以随便取

Host是hadoop主机的ip地址，如上需要在hosts中对master进行配置

User name是启动Hadoop的用户名

然后是打开“Advanced parameters”设置面板修改相应参数。

主要关注下面几个参数

fs.defualt.name与core-site.xml里fs.default.name设置一致。

mapred.job.tracker与mapred-site.xml里面mapred.job.tracker设置一致。

dfs.replication与hdfs-site.xml里面的dfs.replication一致。

hadoop.tmp.dir与core-site.xml里hadoop.tmp.dir设置一致。

hadoop.job.ugi并不是设置用户名与密码。是用户与组名所以这里填写hadoop,hadoop。第一次设置的时候可能是没有hadoop.job.ugi和dfs.replication参数的不要紧确认保存。打开Project Explorer中DFS Locations目录，应该可以年看到文件系统中的结构了。但是在/hadoop/mapred/system下却没有查看权限，而且删除文件的时候也会报错 

这个原因是需要使用管理员用户登陆来地windows系统的进行远程hadoop系统操作。

以上hadoop配置就配置好了

（四）测试

创建一个Map/Reduce工程：

E:\hadoop\hadoop-1.1.2\src\examples\org\apache\hadoop\examples\WordCount.java拷贝到工程里：

Ran As-》RunConfigration

设置hadoop的input和output目录：

运行程序,linux下不会报错,windows下会报一个错：

Exception in thread"main" java.io.IOException: Failed to set permissions of path:\tmp\hadoop-Administrator\mapred\staging\Administrator-4954228\.staging to 0700

 atorg.apache.hadoop.fs.FileUtil.checkReturnValue(FileUtil.java:689)

 atorg.apache.hadoop.fs.FileUtil.setPermission(FileUtil.java:662)

 atorg.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:509)

 atorg.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:344)

 atorg.apache.hadoop.fs.FilterFileSystem.mkdirs(FilterFileSystem.java:189)

 atorg.apache.hadoop.mapreduce.JobSubmissionFiles.getStagingDir(JobSubmissionFiles.java:116)

 at org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:856)

 atorg.apache.hadoop.mapred.JobClient$2.run(JobClient.java:850)

 atjava.security.AccessController.doPrivileged(Native Method)

 at javax.security.auth.Subject.doAs(UnknownSource)

 at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121)

 atorg.apache.hadoop.mapred.JobClient.submitJobInternal(JobClient.java:850)

 atorg.apache.hadoop.mapreduce.Job.submit(Job.java:500)

 atorg.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:530)

 atorg.apache.nutch.util.NutchJob.waitForCompletion(NutchJob.java:50)

 atorg.apache.nutch.crawl.GeneratorJob.run(GeneratorJob.java:191)

 atorg.apache.nutch.crawl.Crawler.runTool(Crawler.java:68)

 atorg.apache.nutch.crawl.Crawler.run(Crawler.java:152)

 atorg.apache.nutch.crawl.Crawler.run(Crawler.java:250)

 atorg.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)

 atorg.apache.nutch.crawl.Crawler.main(Crawler.java:257)

 

这个是Windows下文件权限问题，在Linux下可以正常运行，不存在这样的问题。

 

解决方法是，修改/hadoop-1.0.2/src/core/org/apache/hadoop/fs/FileUtil.java里面的checkReturnValue，注释掉即可（有些粗暴，在Window下，可以不用检查）：

 

......privatestaticvoidcheckReturnValue(booleanrv,Filep,FsPermissionpermission)throwsIOException{

/** if (!rv) { throw new IOException("Failed to set permissionsof path: " + p + " to " + String.format("%04o",permission.toShort())); } **/

}......

 

重新编译打包hadoop-core-1.0.2.jar，替换掉hadoop-1.0.2根目录下的hadoop-core-1.0.2.jar即可。

 

重新编译的方法如下：

Javac –d 编译class存放位置 –extdirs（引用jar包位置，windows下是以分号分割，linux下是以冒号分割的）@source.list（需要编译的java源文件）

javac -d classes -extdirs/root/hadoop/hadoop-1.1.2/lib:/usr/java/jdk1.6.0_24/lib:/usr/local/apache-ant/lib@source.list

 

source.list可以通过下面的方式生成:

进到hadoop 的src目录：

find core -name"*.java" > source.list

 

然后将新编译的FileUtil.class替换掉hadoop-core-1.1.2.jar中的FileUtil.class

然后将新的jar包加到工程里