Eclipse连接hadoop的配置方法

1,将hadoop-1.0.3-eclipse-plugin.jar(这里一定要跟你的hadoop版本支持的一致) 文件放入liunx 下的hadoop目录及win下的eclipse的plugins目录下, 然后打开eclipse 在windows->open perspective 下可看到Map/Reduce 点击后 可在窗口下方看到Map/Reduce Locations,右键“New Hadoop Location…”


配置完后,可以在左边的“project exploer”窗口中看到DFS Locations  点进去则可看到你服务器hadoop下的所有内容了。

2,配置Hadoop的本地目录Windows->preferences,选择本地目录[这里指本机hadoop的存放目录。],保存即可


1, 新建一个“Map/Reduce Project”WordCount 然后分别新建Map与Reduce模块。

2, 在执行 WordCount 时选择“Run Configurations” 选择”Java Application” 下的WordCount 然后配置右边的”Arguments” 中的 “Program arguments”


3,     点Run后,报13/07/05 09:20:43 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
13/07/05 09:20:43 ERROR security.UserGroupInformation: PriviledgedActionException as:20130219 cause:java.io.IOException: Failed to set permissions of path: \tmp\hadoop-20130219\mapred\staging\201302191369333519\.staging to 0700
Exception in thread "main" java.io.IOException: Failed to set permissions of path: \tmp\hadoop-20130219\mapred\staging\201302191369333519\.staging to 0700
at org.apache.hadoop.fs.FileUtil.checkReturnValue(FileUtil.java:689)
at org.apache.hadoop.fs.FileUtil.setPermission(FileUtil.java:662)

权限问题,需修改hadoop-core-1.0.3.jar 中的 org.apache.hadoop.fs包中的FileUtil.class 类,需先从$HADOOP_HOME/src/core/org/apache/hadoop/fs打开FileUtil.java文件[如果没有可以从http://svn.apache.org/repos/asf/hadoop/common/tags/release-1.0.3/src/core/org/apache/hadoop/fs/ 下载] 将文件中的与”checkReturnValue”相关的代码模块注释掉,然后重新编译,用winrar打开hadoop-core-1.0.3.jar 找到FileUtil.class存放的位置,用重新编译好的FileUtil.class覆盖。

4, 在重新运行后又报本地用户读取hdfs中的hadoop文件夹权限不够,我的解决方法是将/user/hadoop的权限改为777 命令如下:hadoop fs –chmod 777 /user/hadoop

5, 再重新运行,成功 其中有几个WARN


主要是不能加载本地hadoop库    

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值