可以在windows下连接服务端的hdfs,直接测试MR程序和连接hbase
1、安装MyEclipse插件,下载hadoop-eclipse-plugin-2.2.0.jar插件,放入MyEclipse_home1\dropins目录下。
2、重启MyEclipse,在window->preference中会多出一个Hadoop Map/Reduce的项。选择hadoop存放目录。 hadoop-2.2.0-x64.rar (解压后的目录)
3、配置hadoop的环境变量(windows重启才会生效,原因不明)
4、添加Map/Reduce Locations ,Map/Reduce的host和post是你URL访问hdfs的主机名和端口。DFS Master的host不变,port是你在core-site中配置的fs.default的value中的端口号,如果做了HA,此处写的是集群对外访问的URL,那么端口在hdfs-site.xml中,是各个namenode的rpc端口号。
5、点击finish,切换到project explorer视图,就可以直接在MyEclipse中访问hdfs的文件了
6、后面就可以在MyEclipse中直接调试MR程序或者操作hbase
为什么仅仅设置了用户名 不用密码就可以直接访问HDFS 并作操作呢?
hfs-site.xml中 df.permissions.enabled 这个要设置为false
MapReduce的端口是dfs.datanode.ipc.address的端口号
DFS的端口是默认的core-site中的端口
参考地址:http://www.aboutyun.com/thread-8190-1-1.html