eclipse配置hadoop2.6.1开发环境并本地跑起来

 先安装并启动hadoop,怎么弄见上文http://blog.csdn.net/ABCDEFG0929/article/details/78770246。这里说下怎么设置IDE来开发hadoop代码和调试。首先要确保你本地装了eclipse,再下个eclipse的hadoop插件就完事了。下面细说一下:
 1、下载eclipse插件(hadoop-eclipse-plugin-2.6.1.jar)并丢到eclipse的pulgin目录下,重启eclipse,Project Explorer出现DFS Locations,如果未正常出现,核对插件、eclipse、jdk版本,本人亲测,eclipse:eclipse-jee-kepler-R-win32-x86_64,jdk:jdk1.7.0_15;
 2、点击Window->点Preferences->点Hadoop Map/Reduce->填D:\hadoop-2.6.1并OK;

 3、点击Window->点Show View->点MapReduce Tools下的Map/Reduce Locations->点右边角一个带+号的小象图标”New hadoop location”->eclipse已填好默认参数,但以下几个参数需要修改以下,参见上文中的两个配置文件core-site.xml和hdfs-site.xml:
 
 General->Map/Reduce(V2) Master->Port改为9001

 General->DSF Master->Port改为9000

 Advanced paramters->dfs.datanode.data.dir改为ffile:/hadoop/data/dfs/datanode

 Advanced paramters->dfs.namenode.name.dir改为file:/hadoop/data/dfs/namenode
 
 4、点击Finish后在DFS Locations右键点击左边三角图标,出现hdsf文件夹,可以直接在这里操作hdsf,右键点击文件图标选”Create new Dictionery”即可新增,再次右键点击文件夹图标选Reflesh出现新增的结果;此时在localhost:50070->Utilities->Browse the file system也可以看到新增的结果;

 问题:
 如果DFS Locations未能连接成功,核对上一篇文章中的配置与eclipse hadoop location配置是否一致,也可能修改后没有执行 hadoop namenode -format。
 
 转载自:http://www.cnblogs.com/wuxun1997/p/6849878.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值