如果说用Hadoop自带的词频统计,那是不是很惊喜,很意外?
在Hadoop官方提供的示例包中,就是统计词频的模块,可以拿来直接使用,因此直接调用。实例如下:
hadoop jar \
$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar \
wordcount \
/home/test/SqlDataSourcr.txt \
/home/teat/
第2行:指的是主机中的环境变量;
第2行:官方提供的程序包;
第3行:程序包中的主类名称;
第4行:HDFS上的文件以目录和文件;
第5行:统计好后要输出的目录;
运行上面的命令,过程很长,显示如下:
程序先执行map任务
map完了执行reduce任务。
最后完毕:
使用-cat命令查看统计后的效果: