工具下载
- eclipse-jee-mars-1-win32-x86_64
下载地址:http://www.eclipse.org/downloads/ - hadoop-2.5.2
下载地址:http://hadoop.apache.org/releases.html - hadoop-src-2.5.2
下载地址:http://hadoop.apache.org/#Download+Hadoop - hadoop2x-eclipse-plugin-master
下载地址:https://github.com/winghc/hadoop2x-eclipse-plugin - hadoop-common-2.2.0-bin-master
下载地址:https://github.com/srccodes/hadoop-common-2.2.0-bin - apache-ant-1.9.6-bin
下载地址:http://ant.apache.org/bindownload.cgi
搭建过程
解压eclipse
解压到路径D:\IDE\eclipseHadoop安装ant
1.在win7中解压,配置环境变量ANT_HOME和path
- 安装hadoop
1.解压上述hadoop相关包到D:\IDE\hadoop
2.配置环境变量HADOOP_HOME和path
- 编译hadoop eclipse插件
ant jar -Dversion=2.5.2 -Declipse.home=D:\IDE\eclipseHadoop -Dhadoop.home=D:\IDE\hadoop\hadoop-2.5.2
编译成功后会在D:\IDE\hadoop\hadoop2x-eclipse-plugin-master\build\contrib\eclipse-plugin下面生成hadoop-eclipse-plugin-2.5.2.jar包
编译过程如果报缺少包错误:htrace-core-3.0.4.jar下载即可
- 配置eclipse环境
1.将编译后的插件copy到D:\IDE\eclipseHadoop\plugins中,重启eclipse
2.配置hadoop路径
3.连接ubuntu中的hadoop
(1)在windows的hosts中配置 虚拟机IP和hostname
如: 192.168.233.3 hadoop
(2)找到eclipse window》show view 找到Map/reduce Locations进行如下配置,注意host配置和虚拟机里的core-site.xml一致。
(3)配置成功,在eclipse左侧窗口可以查看虚拟机中hdfs文件系统的文件。
默认hdfs的路径为/user/hadoop
(4)这时候,可能还是连接不到虚拟机的hdfs文件系统。
需要将common bin中的hadoop.dll和winutils.exe复制到D:\IDE\hadoop\hadoop-2.5.2\bin中即可
至此,windows环境连接虚拟机ubuntu的hadoop伪分布式集群开发环境搭建完成,可以在本地自由地开发测试啦~~~
看了前辈们写的文档一步一步做的,灰常感谢分享的大牛们,自己记录下以后忘记可以翻看啊!!!!