Hadoop的Eclipse插件使用

 

 好久没更新了 笔头能力很差 所以开了博客也不想写   今天就把遇到的一些问题及解决方法贴一点吧

Hadoop的编程调试,一般就在本地Eclipse下就可以了,Hadoop也提供了Eclipse下的插件,原来是IBM的,不过后来好像IBM不更新了,Hadoop的目录下hadoop-0.19.1\contrib\eclipse-plugin\hadoop-0.19.1-eclipse-plugin.jar就是这个插件(一直没往0.20升。所以还在0.19下转悠),复制到eclipse\plugins\下,最好在命令行下使用:Eclipse -clean启动第一次插件使用,不然有时候认不到。以上好多人都说过了,我就顺便一提,下面贴几个遇到的问题。

 

(1)在Hadoop中更改了块dfs.block.size的大小,由原来的64M改到10M大小,由Hadoop下的put命令传的文件每个块就是10M了,可在本地由Eclipse传依旧是64M,更改advanced设置是不起作用的,这我就不知道插件里有这个设置,但不给你开启是为什么了。没关系,有办法解决:直接修改插件里面的配置。windows下用winrar打开hadoop-0.19.1-eclipse-plugin.jar,在lib文件夹下有个hadoop-core.jar,继续查看这个jar文件,里面有个hadoop-default.xml,这个文件大家都熟悉吧,hadoop中默认设置的一些东西。拖出来找到dfs.block.size,改成你在hadoop中修改的文件大小,然后再把这个文件放回jar包里覆盖原来的。OK了,重启Eclipse,这次再由Eclipse下往hadoop的HDFS上传文件,文件块每次就是你设置的大小了。



 

不起作用的修改!
 
<property>
  <name>dfs.block.size</name>
  <value>10485760</value>
  <description>The default block size for new files.</description>
</property>

这个管用!

 

(2)知道了上面的方法,很多都可以改了。有的人在Windows下没装Cygwin(装了的话会方便些,这有个E文参考http://ebiquity.umbc.edu/Tutorials/Hadoop/00%20-%20Intro.html,有图,E文不好的也可以看懂),编译时会出现whoami那个错误,网上很多人的解决方法是:conf.set("hadoop.job.ugi","hadoop,hadoop"); //设置 server用户名和密码 ,这个方法确实管用,要在代码里加上这句。但在Eclipse插件下,你浏览HDFS时,想对文件进行操作,依旧没有写、删权限,上面的方法你是对你跑的程序赋予了用户权限,比如我想直接在Eclipse下传个文件或者删除文件,一个办法就是本地也创建一个名字叫hadoop的用户,然后在这个用户下操作,就有权限了。另一种方法就是修改第一个问题时方法,在插件的hadoop-default.xml中加上下面这段:

<property>
  <name>hadoop.job.ugi</name>
  <value>hadoop,hadoop</value>
  <description>hadoop user test. @radar</description>
</property>
这样,你在其它名字的用户下对HDFS文件操作就都有权限了。



 

原文链接:http://radarradar.iteye.com/blog/530976

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值