windows下搭建MyEclipse开发环境

可以在windows下连接服务端的hdfs,直接测试MR程序和连接hbase


1、安装MyEclipse插件,下载hadoop-eclipse-plugin-2.2.0.jar插件,放入MyEclipse_home1\dropins目录下。

2、重启MyEclipse,在window->preference中会多出一个Hadoop Map/Reduce的项。选择hadoop存放目录。 hadoop-2.2.0-x64.rar (解压后的目录)

3、配置hadoop的环境变量(windows重启才会生效,原因不明)

4、添加Map/Reduce Locations ,Map/Reduce的host和post是你URL访问hdfs的主机名和端口。DFS Master的host不变,port是你在core-site中配置的fs.default的value中的端口号,如果做了HA,此处写的是集群对外访问的URL,那么端口在hdfs-site.xml中,是各个namenode的rpc端口号。


5、点击finish,切换到project explorer视图,就可以直接在MyEclipse中访问hdfs的文件了

6、后面就可以在MyEclipse中直接调试MR程序或者操作hbase




为什么仅仅设置了用户名  不用密码就可以直接访问HDFS  并作操作呢?

hfs-site.xml中 df.permissions.enabled 这个要设置为false

MapReduce的端口是dfs.datanode.ipc.address的端口号

DFS的端口是默认的core-site中的端口


参考地址:http://www.aboutyun.com/thread-8190-1-1.html

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值