前言:几经周折 终于搞定了eclipse上对 hadoop 编写的配置,写此博文,给后来者一些帮助,少走弯路。
电脑配置:
虚拟机:vmm 上 centos 6.5
hadoop: hadoop-2.6.0-cdh5.4.5
Windows: Windows10_x64
配置过程:
1.下载JDK并配置好,下载解压好eclipse
2.编译 hadoop-eclipse-plugin-2.6.0-cdh5.4.5.jar
1)、工具 ant 下载地址:http://ant.apache.org/bindownload.cgi
或者 http://download.csdn.net/detail/u014167893/9841700
下载完成,解压到人任意盘,配置好环境变量: 新建:ANT_HOME
内容为:D:\apache-ant-1.10.1
path添加内容:%ANT_HOME%\bin
配置完成在cmd中测试一下 ant -version;
如图:
配置信息:
2).下载hadoop2x-eclipse-plugin源代码 下载地址:https://github.com/winghc/hadoop2x-eclipse-plugin
解压到任意盘。
3).将安装的hadoop-2.6.0-cdh5.4.5
解压到任意盘,如图:
4).编译 hadoop-eclipse-plugin-2.6.0-cdh5.4.5.jar
控制台进入刚刚解压的hadoop2x-eclipse-plugin-master\src\contrib\eclipse-plugin 目录下
运行:ant jar -Dversion=2.6.0 -Declipse.home=D:\eclipse\JavaWeb\eclipse -Dhadoop.home=D:\hadoop\hadoop-2.6.0-cdh5.4.5
-Declipse.home=eclipse 的 home目录 -Dhadoop.home=hadoop-2.6.0-cdh5.4.5 的home目录
如图:
如果编译失败,提示文件找不到可以修改配置文件 hadoop2x-eclipse-plugin-master\src\ivy\libraries.properties 如图:
还需要配置hadoop2x-eclipse-plugin-master\src\contrib\eclipse-plugin\build.xml 将里面的
${hadoop.home} 替换成 2.6.0-cdh5.4.5 保存重新编译。
编译好的jar包在hadoop2x-eclipse-plugin-master\build\contrib\eclipse-plugin目录下。
2.配置eclipse
1).将编译好的 hadoop-eclipse-plugin-2.6.0-cdh5.4.5.jar 放到eclipse的plugin目录下
2).重启eclipse
3).配置hadoop 目录选择解压的hadoop目录
4).配置Map/ReduceLocations
点击Window-->Show View -->MapReduce Tools 点击Map/ReduceLocation
点击Map/ReduceLocation选项卡,右击新建hadoop location,打开Hadoop Location配置窗口:
输入Location Name,任意名称即可.配置Map/Reduce Master和DFS Mastrer,Host
和Port配置成hdfs-site.xml与core-site.xml的设置一致即可。
5). 看见如图即表示配置成功:
3.创建项目需要用到的工具 hadoop.dll和
下载地址:链接:http://pan.baidu.com/s/1o8uh2NS 密码:3bqa
4.创建项目课程出现错误 可以参考
http://blog.csdn.net/u010911997/article/details/44099165/