linux下eclipse hadoop插件配置

7 篇文章 0 订阅
4 篇文章 0 订阅

       刚开始学习hadoop,自己想搭建一个友好到变成环境,在参考了《hadoop实战》和网上大家到经验之后,决定用采用eclipse。既然用到eclipse,则必须要用到eclipse-hadoop-plugin。

       hadoop2.0之后的eclipse-hadoop插件有两种获得方式:

        1. 自己编译,具体编译方法可以参考网上大家到博客;

        2. 由github托管到eclipse-hadoop-plugin-2X的压缩包里,有一个已经编译好的plugin.jar,可以直接拿来用,运气好的话是可以成功到。下载地址:


        本人在将eclipse-hadoop-plugin.jar放到eclipse安装目录下的plugins路径下之后,按照《实战》中到配置方法,建立了一个DFS location,但是会弹错误:

"Map/Reduce location status updater". java.lang.NullPointerException,处女座的我不能忍。不过在长时间的纠结之后,仍旧解决不了该问题。所幸这个警告不影响hdfs的连接/增加删除目录,但是前提是hadoop一定要配置完善。

        之后我在hadoop安装目录下,经过以下命令:

        1.     sbin/start-all.sh  开启hadoop

        2.     bin/hadoop fs -mkdir -p newInput 建立一个文件夹

        3.     注意:在eclipse中配置hadoop location时,一定要将Host填写为ip地址(192.168.21.134),而不能写localhost,否则链接不上hdf。

        然后重启eclipse,刷新dfs locations ,发现果然能够显示hdfs下的目录了。下一步准备在eclipse环境下运行wordcount,希望能够成功!(准备参考http://booby325.iteye.com/blog/1309940)




参考博客:

1. http://blog.csdn.net/hongweigg/article/details/7197662

2. http://www.cnblogs.com/flyoung2008/archive/2011/12/09/2281400.html

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值