前面,我们已经通过eclipse下安装Hadoop的插件配置好了基于Hadoop+eclipse的MapReduce开发环境。现在,我们在这个Hadoop+eclipse环境下运行MapReduce程序。
一、新建MapReduce项目
【 File】—>【new】->【Project】,选择【Map/Reduce Project】,单击下一步,设置项目名称为WordCount,确定。
在WordCount项目下,新建类,类名为WordCount,其程序内容为WordCount.java。
二、设置HDFS的输入文件
hadoop fs -mkdir input
hadoop fs -copyFromLocal WordCount.txt input
我将WordCount.java源程序的内容拷到了WordCount.txt内,并上传到Input中作为程序的输入。
三、配置eclipse的运行参数
对本项目右键->【run】->【Run Configurations】,单击中间的Arguments,并设置输入输出参数。在Program arguments栏中输入:
hdfs://master:9000/user/abc/input hdfs://master:9000/user/abc/output
其中abc是用户名,根据自己的用户名调整,可以在web方式下输入地址:master:50070后查看相关信息。
本文中的master是在localhost上,因为master可以替换成localhost。
点击【Run】或对本项目->【Run As】->【Run on Hadoop】,运行MapReduce程序。
四、查看运行结果
点击【Run】后,eclipse的输出窗口中会显示,