jar包下载地址:http://download.csdn.net/detail/chabale/5345502
由于开发人员使用不同的eclipse版本,hadoop自0.20.x版本后不再提供现成的hadoop-eclipse插件而是给出了源码自行编译。
(一)、building hadoop
1、编辑{HADOOP_HOME}/build.xml
(1)、对31行的hadoop版本做修改
<property name="version"value="1.1.2-SNAPSHOT"/>
修改为:
<property name="version"value="1.1.2"/>
(2)、对2418行的ivy下载进行注释,因为已经包含了ivy.jar
(3)、对2426行去除对ivy-download的依赖关系,保留如下:
添加红色字体的两行,补充Eclipse路径和Hadoop版本
<projectname="hadoopbuildcontrib"xmlns:ivy="antlib:org.apache.ivy.ant">
...
</project>
3、building hadoopcd ${HADOOP-HOME}
ant compile
(二)、building eclipse-plugin for hadoop
1、修改${HADOOP_HOME}/src/contrib/eclipse-plugin/build.xml
加入下面红色字体的几行,指定添加的jar包:
<!-- Override jar target to specify manifest -->
<target name="jar" depends="compile" unless="skip.contrib">
<mkdir dir="${build.dir}/lib"/>
<copy file="${hadoop.root}/build/hadoop-core-${version}.jar" tofile="${build.dir}/lib/hadoop-core.jar" verbose="true"/>
<copy file="${hadoop.root}/build/ivy/lib/Hadoop/common/commons-cli-${commons-cli.version}.jar" todir="${build.dir}/lib" verbose="true"/>
<copy file="${hadoop.root}/lib/commons-configuration-1.6.jar" tofile="${build.dir}/lib/commons-configuration-1.6.jar" verbose="true"/>
<copy file="${hadoop.root}/lib/commons-httpclient-3.0.1.jar" tofile="${build.dir}/lib/commons-httpclient-3.0.1.jar" verbose="true"/>
<copy file="${hadoop.root}/lib/commons-lang-2.4.jar" tofile="${build.dir}/lib/commons-lang-2.4.jar" verbose="true"/>
<copy file="${hadoop.root}/lib/jackson-core-asl-1.8.8.jar" tofile="${build.dir}/lib/jackson-core-asl-1.8.8.jar" verbose="true"/>
<copy file="${hadoop.root}/lib/jackson-mapper-asl-1.8.8.jar" tofile="${build.dir}/lib/jackson-mapper-asl-1.8.8.jar" verbose="true"/>
<jar
jarfile="${build.dir}/hadoop-${name}-${version}.jar"
manifest="${root}/META-INF/MANIFEST.MF">
<fileset dir="${build.dir}" includes="classes/ lib/"/>
<fileset dir="${root}" includes="resources/ plugin.xml"/>
</jar>
</target>
2、修改${HADOOP_HOME}/src/contrib/eclipse-plugin/META-INF/MENIFEST.MF,指定CLASS_PATH
Bundle-ClassPath: classes/,
lib/hadoop-core.jar,lib/commons-configuration-1.6.jar,lib/commons-httpclient-3.0.1.jar,lib/commons-lang-2.4.jar,lib/jackson-core-asl-1.8.8.jar,lib/jackson-mapper-asl-1.8.8.jar,lib/commons-cli-1.2.jar
3、building
cd ${HADOOP_HOME}/usr/contrib/eclipse-plugin
ant jar
building输出的eclipse插件:${HADOOP_HOME}/build/contrib/eclipse-plugin/hadoop-eclipse-plugin-1.1.2.jar
将生成好的jar拷贝到:eclipse安装目录下的dropins目录下,重启eclipse,如果没有生效通过eclipse -clean使其生效
cmd:进入eclipse安装目录
eclipse -clean
Location name:这个可以随便取
Host是hadoop主机的ip地址,如上需要在hosts中对master进行配置
User name是启动Hadoop的用户名
然后是打开“Advanced parameters”设置面板修改相应参数。
主要关注下面几个参数
fs.defualt.name与core-site.xml里fs.default.name设置一致。
mapred.job.tracker与mapred-site.xml里面mapred.job.tracker设置一致。
dfs.replication与hdfs-site.xml里面的dfs.replication一致。
hadoop.tmp.dir与core-site.xml里hadoop.tmp.dir设置一致。
hadoop.job.ugi并不是设置用户名与密码。是用户与组名所以这里填写hadoop,hadoop。第一次设置的时候可能是没有hadoop.job.ugi和dfs.replication参数的不要紧确认保存。打开Project Explorer中DFS Locations目录,应该可以年看到文件系统中的结构了。但是在/hadoop/mapred/system下却没有查看权限,而且删除文件的时候也会报错
这个原因是需要使用管理员用户登陆来地windows系统的进行远程hadoop系统操作。
以上hadoop配置就配置好了
(四)测试
创建一个Map/Reduce工程:
E:\hadoop\hadoop-1.1.2\src\examples\org\apache\hadoop\examples\WordCount.java拷贝到工程里:
Ran As-》RunConfigration
设置hadoop的input和output目录:
运行程序,linux下不会报错,windows下会报一个错:
Exception in thread"main" java.io.IOException: Failed to set permissions of path:\tmp\hadoop-Administrator\mapred\staging\Administrator-4954228\.staging to 0700
atorg.apache.hadoop.fs.FileUtil.checkReturnValue(FileUtil.java:689)
atorg.apache.hadoop.fs.FileUtil.setPermission(FileUtil.java:662)
atorg.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:509)
atorg.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:344)
atorg.apache.hadoop.fs.FilterFileSystem.mkdirs(FilterFileSystem.java:189)
atorg.apache.hadoop.mapreduce.JobSubmissionFiles.getStagingDir(JobSubmissionFiles.java:116)
at org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:856)
atorg.apache.hadoop.mapred.JobClient$2.run(JobClient.java:850)
atjava.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(UnknownSource)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121)
atorg.apache.hadoop.mapred.JobClient.submitJobInternal(JobClient.java:850)
atorg.apache.hadoop.mapreduce.Job.submit(Job.java:500)
atorg.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:530)
atorg.apache.nutch.util.NutchJob.waitForCompletion(NutchJob.java:50)
atorg.apache.nutch.crawl.GeneratorJob.run(GeneratorJob.java:191)
atorg.apache.nutch.crawl.Crawler.runTool(Crawler.java:68)
atorg.apache.nutch.crawl.Crawler.run(Crawler.java:152)
atorg.apache.nutch.crawl.Crawler.run(Crawler.java:250)
atorg.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
atorg.apache.nutch.crawl.Crawler.main(Crawler.java:257)
这个是Windows下文件权限问题,在Linux下可以正常运行,不存在这样的问题。
解决方法是,修改/hadoop-1.0.2/src/core/org/apache/hadoop/fs/FileUtil.java里面的checkReturnValue,注释掉即可(有些粗暴,在Window下,可以不用检查):
......privatestaticvoidcheckReturnValue(booleanrv,Filep,FsPermissionpermission)throwsIOException{
/** if (!rv) { throw new IOException("Failed to set permissionsof path: " + p + " to " + String.format("%04o",permission.toShort())); } **/
}......
重新编译打包hadoop-core-1.0.2.jar,替换掉hadoop-1.0.2根目录下的hadoop-core-1.0.2.jar即可。
重新编译的方法如下:
Javac –d 编译class存放位置 –extdirs(引用jar包位置,windows下是以分号分割,linux下是以冒号分割的)@source.list(需要编译的java源文件)
javac -d classes -extdirs/root/hadoop/hadoop-1.1.2/lib:/usr/java/jdk1.6.0_24/lib:/usr/local/apache-ant/lib@source.list
source.list可以通过下面的方式生成:
进到hadoop 的src目录:
find core -name"*.java" > source.list
然后将新编译的FileUtil.class替换掉hadoop-core-1.1.2.jar中的FileUtil.class
然后将新的jar包加到工程里