Hadoop+eclipse运行MapReduce程序

本文介绍了如何在Eclipse环境下创建MapReduce项目,设置HDFS输入文件,配置运行参数,并展示了MapReduce程序WordCount的运行过程及结果。通过Eclipse的插件配置,可以在本地运行MapReduce任务并观察输出结果。
摘要由CSDN通过智能技术生成

前面,我们已经通过eclipse下安装Hadoop的插件配置好了基于Hadoop+eclipse的MapReduce开发环境。现在,我们在这个Hadoop+eclipse环境下运行MapReduce程序。


一、新建MapReduce项目

【 File】—>【new】->【Project】,选择【Map/Reduce Project】,单击下一步,设置项目名称为WordCount,确定。


在WordCount项目下,新建类,类名为WordCount,其程序内容为WordCount.java



二、设置HDFS的输入文件

hadoop fs -mkdir input
hadoop fs -copyFromLocal WordCount.txt input
我将WordCount.java源程序的内容拷到了WordCount.txt内,并上传到Input中作为程序的输入。



三、配置eclipse的运行参数

对本项目右键->【run】->【Run Configurations】,单击中间的Arguments,并设置输入输出参数。在Program arguments栏中输入:

hdfs://master:9000/user/abc/input   hdfs://master:9000/user/abc/output
其中abc是用户名,根据自己的用户名调整,可以在web方式下输入地址:master:50070后查看相关信息。

本文中的master是在localhost上,因为master可以替换成localhost。


点击【Run】或对本项目->【Run As】->【Run on Hadoop】,运行MapReduce程序。



四、查看运行结果

点击【Run】后,eclipse的输出窗口中会显示,

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值