先安装并启动hadoop,怎么弄见上文http://blog.csdn.net/ABCDEFG0929/article/details/78770246。这里说下怎么设置IDE来开发hadoop代码和调试。首先要确保你本地装了eclipse,再下个eclipse的hadoop插件就完事了。下面细说一下:
1、下载eclipse插件(hadoop-eclipse-plugin-2.6.1.jar)并丢到eclipse的pulgin目录下,重启eclipse,Project Explorer出现DFS Locations,如果未正常出现,核对插件、eclipse、jdk版本,本人亲测,eclipse:eclipse-jee-kepler-R-win32-x86_64,jdk:jdk1.7.0_15;
2、点击Window->点Preferences->点Hadoop Map/Reduce->填D:\hadoop-2.6.1并OK;
3、点击Window->点Show View->点MapReduce Tools下的Map/Reduce Locations->点右边角一个带+号的小象图标”New hadoop location”->eclipse已填好默认参数,但以下几个参数需要修改以下,参见上文中的两个配置文件core-site.xml和hdfs-site.xml:
General->Map/Reduce(V2) Master->Port改为9001
General->DSF Master->Port改为9000
Advanced paramters->dfs.datanode.data.dir改为ffile:/hadoop/data/dfs/datanode
Advanced paramters->dfs.namenode.name.dir改为file:/hadoop/data/dfs/namenode
4、点击Finish后在DFS Locations右键点击左边三角图标,出现hdsf文件夹,可以直接在这里操作hdsf,右键点击文件图标选”Create new Dictionery”即可新增,再次右键点击文件夹图标选Reflesh出现新增的结果;此时在localhost:50070->Utilities->Browse the file system也可以看到新增的结果;
问题:
如果DFS Locations未能连接成功,核对上一篇文章中的配置与eclipse hadoop location配置是否一致,也可能修改后没有执行 hadoop namenode -format。
转载自:http://www.cnblogs.com/wuxun1997/p/6849878.html