Windows下eclipse上安装hadoop插件,编写mapreduce 程序

前言:几经周折 终于搞定了eclipse上对 hadoop 编写的配置,写此博文,给后来者一些帮助,少走弯路。


电脑配置:

虚拟机:vmm 上 centos 6.5  

hadoop: hadoop-2.6.0-cdh5.4.5

Windows: Windows10_x64


配置过程:

1.下载JDK并配置好,下载解压好eclipse

2.编译  hadoop-eclipse-plugin-2.6.0-cdh5.4.5.jar

1)、工具  ant  下载地址:http://ant.apache.org/bindownload.cgi 

    或者 http://download.csdn.net/detail/u014167893/9841700

下载完成,解压到人任意盘,配置好环境变量: 新建:ANT_HOME 

  内容为:D:\apache-ant-1.10.1  

  path添加内容:%ANT_HOME%\bin

  配置完成在cmd中测试一下  ant -version;

如图:

配置信息:


2).下载hadoop2x-eclipse-plugin源代码  下载地址:https://github.com/winghc/hadoop2x-eclipse-plugin

解压到任意盘。

3).将安装的hadoop-2.6.0-cdh5.4.5 

 解压到任意盘,如图:

          

    4).编译 hadoop-eclipse-plugin-2.6.0-cdh5.4.5.jar 

控制台进入刚刚解压的hadoop2x-eclipse-plugin-master\src\contrib\eclipse-plugin 目录下

      运行:ant jar -Dversion=2.6.0 -Declipse.home=D:\eclipse\JavaWeb\eclipse -Dhadoop.home=D:\hadoop\hadoop-2.6.0-cdh5.4.5

        -Declipse.home=eclipse 的 home目录  -Dhadoop.home=hadoop-2.6.0-cdh5.4.5 的home目录

如图:

如果编译失败,提示文件找不到可以修改配置文件 hadoop2x-eclipse-plugin-master\src\ivy\libraries.properties 如图:


还需要配置hadoop2x-eclipse-plugin-master\src\contrib\eclipse-plugin\build.xml 将里面的

${hadoop.home} 替换成 2.6.0-cdh5.4.5 保存重新编译。

编译好的jar包在hadoop2x-eclipse-plugin-master\build\contrib\eclipse-plugin目录下。


2.配置eclipse

1).将编译好的 hadoop-eclipse-plugin-2.6.0-cdh5.4.5.jar 放到eclipse的plugin目录下

2).重启eclipse

3).配置hadoop 目录选择解压的hadoop目录

4).配置Map/ReduceLocations

    点击Window-->Show View -->MapReduce Tools  点击Map/ReduceLocation

    点击Map/ReduceLocation选项卡,右击新建hadoop location,打开Hadoop Location配置窗口:

 输入Location Name,任意名称即可.配置Map/Reduce Master和DFS Mastrer,Host

和Port配置成hdfs-site.xml与core-site.xml的设置一致即可。

5). 看见如图即表示配置成功:

3.创建项目需要用到的工具 hadoop.dll和

下载地址:链接:http://pan.baidu.com/s/1o8uh2NS 密码:3bqa


4.创建项目课程出现错误 可以参考

                http://blog.csdn.net/u010911997/article/details/44099165/






















  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值