Hadoop自带的wordcount统计太香了

最新推荐文章于 2022-09-19 10:22:09 发布

光数葱丁

最新推荐文章于 2022-09-19 10:22:09 发布

阅读量409

点赞数

分类专栏： hadoop

本文链接：https://blog.csdn.net/weixin_44328257/article/details/126404578

版权

关键词由CSDN通过智能技术生成

9 篇文章 0 订阅

订阅专栏

如果说用Hadoop自带的词频统计，那是不是很惊喜，很意外？

在Hadoop官方提供的示例包中，就是统计词频的模块，可以拿来直接使用，因此直接调用。实例如下：

hadoop jar \
$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar \
wordcount \
/home/test/SqlDataSourcr.txt \
/home/teat/

第2行：指的是主机中的环境变量；

第2行：官方提供的程序包；

第3行：程序包中的主类名称；

第4行：HDFS上的文件以目录和文件；

第5行：统计好后要输出的目录；

运行上面的命令，过程很长，显示如下：

程序先执行map任务

map完了执行reduce任务。

最后完毕：

使用-cat命令查看统计后的效果：

关注