大数据学习之路，MapReduce的实例（WordCount）解析

最新推荐文章于 2022-10-10 09:27:40 发布

MC柱柱

最新推荐文章于 2022-10-10 09:27:40 发布

阅读量1.6k

点赞数

分类专栏：学习文章标签： hadoop 学习 mapreduce

本文链接：https://blog.csdn.net/qq_42559628/article/details/123775499

版权

学习专栏收录该内容

12 篇文章 0 订阅

订阅专栏

图解MR(WC)

在这里插入图片描述

第一步，input

读取文件内容

第二步，split 分片

一个块容量（blocksize）是128M，假如300MB的一个文件,blocksize默认是128M，那么分成3个块去存储；如果一个文件大小为128.01MB，因为128M是有buffer，缓冲大小为10%，最后需要其实也就是一个块

第三步，map

将word => (word,1) ，类似于key-value键值对

第四步，shuffle

洗牌
默认按照key的hash值进行分发,（也可以不用hash值分发，也可以用其他规则）默认就是按hash中的partitioner（分组），可以改造这个，比如有个文件存的是电话号码：
phone count
131xxxxx
135xxxxx
185xxxxx
137xxxxx
如果按照hash值去分的话，就需要很多shuffle（shuffle是需要消耗内存的），所以我们需要去改造，比如前三位相同就可以做个分组，这样就很快了；最后相同的key肯定要分发到同一个reduce任务上去，做最后的汇总操作