1,将hadoop-1.0.3-eclipse-plugin.jar(这里一定要跟你的hadoop版本支持的一致) 文件放入liunx 下的hadoop目录及win下的eclipse的plugins目录下, 然后打开eclipse 在windows->open perspective 下可看到Map/Reduce 点击后 可在窗口下方看到Map/Reduce Locations,右键“New Hadoop Location…”
配置完后,可以在左边的“project exploer”窗口中看到DFS Locations 点进去则可看到你服务器hadoop下的所有内容了。
2,配置Hadoop的本地目录Windows->preferences,选择本地目录[这里指本机hadoop的存放目录。],保存即可
1, 新建一个“Map/Reduce Project”WordCount 然后分别新建Map与Reduce模块。
2, 在执行 WordCount 时选择“Run Configurations” 选择”Java Application” 下的WordCount 然后配置右边的”Arguments” 中的 “Program arguments”
3, 点Run后,报13/07/05 09:20:43 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
13/07/05 09:20:43 ERROR security.UserGroupInformation: PriviledgedActionException as:20130219 cause:java.io.IOException: Failed to set permissions of path: \tmp\hadoop-20130219\mapred\staging\201302191369333519\.staging to 0700
Exception in thread "main" java.io.IOException: Failed to set permissions of path: \tmp\hadoop-20130219\mapred\staging\201302191369333519\.staging to 0700
at org.apache.hadoop.fs.FileUtil.checkReturnValue(FileUtil.java:689)
at org.apache.hadoop.fs.FileUtil.setPermission(FileUtil.java:662)
权限问题,需修改hadoop-core-1.0.3.jar 中的 org.apache.hadoop.fs包中的FileUtil.class 类,需先从$HADOOP_HOME/src/core/org/apache/hadoop/fs打开FileUtil.java文件[如果没有可以从http://svn.apache.org/repos/asf/hadoop/common/tags/release-1.0.3/src/core/org/apache/hadoop/fs/ 下载] 将文件中的与”checkReturnValue”相关的代码模块注释掉,然后重新编译,用winrar打开hadoop-core-1.0.3.jar 找到FileUtil.class存放的位置,用重新编译好的FileUtil.class覆盖。
4, 在重新运行后又报本地用户读取hdfs中的hadoop文件夹权限不够,我的解决方法是将/user/hadoop的权限改为777 命令如下:hadoop fs –chmod 777 /user/hadoop
5, 再重新运行,成功 其中有几个WARN
主要是不能加载本地hadoop库