上次hadoop集群已经搭建完成,并奔跑正常,下面我们就该用eclipse连接这个集群了,方便开发程序。
到https://github.com/winghc/hadoop2x-eclipse-plugin ,直接下载发布的最新版,2.4.1
把插件放到eclipse的plugins目录里面,重启eclipse。
在eclipse 的右上角输入map就会看到有 map/reduce Locations
打开map/reduce Locations ,右键,New hadoop location...
Laction Name 随便起个名字
把master的ip地址和端口填写清楚 ,然后finish。
切换到 Map/Reduce 视图 在最上面就会看见 hadoop的文件系统了
如果没有配置错误的话,应该会在这里出现hadoop的文件系统,但是我的文件夹一直显示0个
尝试上传一个文件,发现是权限不够,应该是我用window8访问hadoop集群导致权重不够
后来在 hdsf-site.xml 里面增加一个配置
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
这样就不限制权重了
重新启动集群,重新连接,刷新,尝试新建testdata文件夹,还是显示0
刷新,居然有了,给这个文件夹上传文件,成功。
刷新下目录,就看到了
在 master上 hadoop fs -ls -R /
[hadoop@master hadoop]$ hadoop fs -ls -R /
drwxr-xr-x - Administrator supergroup 0 2014-12-03 15:05 /testdata
-rw-r--r-- 3 Administrator supergroup 593494016 2014-12-03 14:33 /testdata/CentOS-7.0-1406-x86_64-Minimal.iso
-rw-r--r-- 3 Administrator supergroup 2401901 2014-12-03 15:05 /testdata/protobuf-2.5.0.tar.gz
从网上随便找个mapRaduce程序跑下试试