搭建Eclipse下运行Mapreduce代码的环境

1、下载hadoop1.2.1.tar.gz文件,直接解压到D盘即可;

2、编译对应版本的hadoop-eclipse插件(可以看下一片文章,如何编译hadoop-eclipse插件)。把编译好的jar拷贝到eclipse/plugins下,重启eclipse即可;

3、若插件安装成功的话,打开Window-->Preferens,会发现Hadoop Map/Reduce选项,在这个选项里需要配置Hadoop installation directory。配置完成后退出;


4、配置Map/Reduce Locations:

在Window-->Show View中打开Map/Reduce Locations,右键-->New Hadoop Location。弹出如下对话框:



需要配置Location name,还有Map/Reduce Master和DFS Master。这里面的Host、Port分别为你在mapred-site.xml、core-site.xml中配置的地址及端口。如果配置成功,可以在eclipse中看到远程hdfs中的文件,如下图:



5、新建项目:File-->New-->Other-->Map/Reduce Project。
随便可以取个工程名。把hadoop安装目录下的/src/example/org/apache/hadoop/example/WordCount.java复制到刚才新建的项目下面。


6、在远程linux上,上传文件到hdfs:

hadoop fs -put hello /


7、运行代码:
1.在新建的项目WordCount,右键-->Run As-->Run Configurations
2.在弹出的Run Configurations对话框中,选择项目和类,然后点Arguments,在Program arguments中输入“你要传给程序的输入文件夹和你要求程序将计算结果保存的文件夹”,用空格分开。



3.最后点击“Run”即可。运行结束后,可以在eclipse的视图中看到结果。

运行mapreduce程序的参数中,输出路径一定不能再hdfs中存在,否则报错!


补充:在windows eclipse上远程调试mapreduce程序,可能会报一个权限的错误,如何解决请看上一篇日志!


  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

赶路人儿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值