Hadoop MapReduce单词统计

启动Hadoop

1.执行命令启动前面实验部署好的Hadoop系统。

[root@master ~]# cd /usr/cstor/hadoop/
[root@master hadoop]# sbin/start-all.sh

2.验证HDFS上没有wordcount的文件夹

[root@master ~]# cd /usr/cstor/hadoop/
[root@master hadoop]# bin/hadoop fs -ls /                    #查看HDFS上根目录文件 /

3.上传数据文件到HDFS

[root@master ~]# cd /usr/cstor/hadoop/
[root@master hadoop]# bin/hadoop fs -put /root/data/5/word /

4.编写MapReduce程序

5.使用Eclipse开发工具将该代码打包

• 假定打包后的文件名为hdpAction.jar，主类WordCount位于包njupt下，则可使用如下命令向YARN集群提交本应用。

[root@master ~]# yarn  jar  hdpAction.jar  njupt.WordCount  /word  /wordcount 1

• 其中“yarn”为命令，“jar”为命令参数，后面紧跟打包后的代码地址，“njupt”为包名，“WordCount”为主类名，“/word”为输入文件在HDFS中的位置，/wordcount为输出文件在HDFS中的位置。