MapReduce的Shuffle过程

最新推荐文章于 2021-10-08 21:39:36 发布
最新推荐文章于 2021-10-08 21:39:36 发布
阅读量4.5k 收藏 2
点赞数 1
分类专栏： Hadoop 文章标签： mapreduce
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45638853/article/details/115603158
版权
本文详细介绍了MapReduce中的Shuffle过程，包括Map端和Reduce端的shuffle，Partitioner分区机制，Comparable和Comparator的排序机制，Combiner合并机制以及GroupingComparator分组排序。重点讨论了分区数量与reduce数量的关系，自定义分区、排序和分组规则，并通过案例解释了Combiner的应用和分组排序的实现。
摘要由CSDN通过智能技术生成

认识Shuffle

map task：map端可以执行的一个进程

reduce task：reduce端可以执行的一个进程

shuffle是介于maptask和reducetask之间的一个过程

shuffle可以分为map端的shuffle和reduce端的shuffle

mapreduce中，map阶段处理的数据如何传递给reduce阶段，是mapreduce框架中最关键的一个流程，这个流程就叫shuffle

具体来说：就是将map task输出的处理结果数据，分发给reduce task，并在分发的过程中，对数据按key进行了分区和排序。

Shuffle执行过程

在这里插入图片描述

shuffle是MR处理流程中的一个过程，它的每一个处理步骤是分散在各个map task和reduce task节点上完成的。

Map端shuffle

  1. 每个map读取原数据的一部分(inputSplit),执行Mapper操作。
  2. 从Mapper端输出的键值对数据进入到环形缓冲区(100M)
  3. 环形缓冲区容量达到80%产生溢写，写入到磁盘缓冲区。
  4. 在磁盘缓冲区中分区(partitioner)， 排序(sort)，合并(combiner)

Reduce端shuffle

  1. 由reducetask向maptask拉取数据，进行分组排序(归并算法)
  2. 把数据组合成(key,序列)发送到Reducer类中执行
  3. 在Reducer类中处理数据，把结果写到文件中
    在这里插入图片描述

Partitioner分区机制

根据不同的业务逻辑需求进行不同的数据分区。

分区的数量与reduce数量的关系：分区数量 <= reduce的数量

  1. 分区数量 = reduce数量

    每个reduce找自己相应分区就ok，最理想的状态

  2. 分区数量 < reduce数量

    每个reduce找自己相应分区就ok，但是会有剩余reduce，浪费资源

  3. 分区数量 > reduce数量(不等于1)

    reduce的数量不够分配每个分区的内容，执行代码时报错

  4. 分区数量为n个，reduce数量为

最低0.47元/天 解锁文章
二手盐
关注
专栏目录
Hadoop MapReduce Shuffle 过程解析
超越时代
02-28 660
mapreduceShuffle过程解析 Shuffle过程是Mapreduce的核心，要想理解Mapreduce，Shuffle过程是必须了解的。 Shuffle的本义是洗牌，混乱，把一组有规则的数据转换成一组无规则的数据，Mapreduce中的shuffle更像是洗牌的逆过程，把map端处理完的数据规约到reduce端，更像是一个整合的过程，把相对无规则的数据转换成有规则的数据。 为什么M...
Hadoop(十八) MapReduce Shuffle
最新发布
技术博客
08-21 547
当整个map任务完成溢出写后，会对磁盘中这个map任务产生的所有临时文件（spill文件）进行归并（merge）操作生成最终的正式输出文件，此时的归并是将所有spill文件中的相同partition合并到一起，并对各个partition中的数据再进行一次排序（sort），生成key和对应的value-list，文件归并时，如果溢写文件数量超过参数min.num.spills.for.combine的值（默认为3）时，可以再次进行合并。这次排序是将局部有序的数据整理成整体有序的状态，所以采用的是归并排序。
MapReduce的shuffle过程
Sweeneyzuo的博客
11-29 510
shuffle和排序     MapReduce确保每个reducer的输入都是按键排序的。系统执行排序、将map输出作为输入传给reducer的过程称为shuffle。在此，我们将学习shuffle 是如何工作的，因为它有助于我们理解工作机制(如果需要优化MapReduce程序)。shuffle属于不断被优化和改进的代码库的部分。 map端     map函数开始产生输出时，并不是简...
MapReduce shuffle过程详解
xidianycy
10-17 4万+
我们知道MapReduce计算模型主要由三个阶段构成：Map、shuffle、Reduce。Map是映射，负责数据的过滤分法，将原始数据转化为键值对；Reduce是合并，将具有相同key值的value进行处理后再输出新的键值对作为最终结果。为了让Reduce可以并行处理Map的结果，必须对Map的输出进行一定的排序与分割，然后再交给对应的Reduce，而这个将Map输出进行进一步整理并交给Reduc
MapReduce的shuffle过程详解（分片、分区、合并、归并。。。）
热门推荐
ASN_forever的博客
07-29 6万+
shuffle过程 shuffle概念 shuffle的本意是洗牌、混洗的意思，把一组有规则的数据尽量打乱成无规则的数据。而在MapReduce中，shuffle更像是洗牌的逆过程，指的是将map端的无规则输出按指定的规则“打乱”成具有一定规则的数据，以便reduce端接收处理。其在MapReduce中所处的工作阶段是map输出后到reduce接收前，具体可以分为map端和reduce端前后两...
MapReduce shuffle过程详解！
蔡政洁的博客
10-12 9077
目录一、MR的shuffle过程二、Map shuffle三、Reduce shuffle 一、MR的shuffle过程 MR的shuffle过程： input -> map -> shuffle -> reduce ->output MR的原理图： 二、Map shuffle 1.map()的数据会写入到内存（环形缓冲区：默认大小：100mb），当数据达到缓冲区总容量的80%（阈值）时，会将我们的数据spill到本地磁盘 1）分区（partitioner）：分
MapReduce Shuffle 过程图解 Xmind文件
11-29
MapReduce Shuffle 过程图解 Xmind文件
MapReduce shuffle过程详解与调优指南
“MapReduce shuffle过程剖析及调优” MapReduce是Hadoop生态系统中的核心组件，用于处理大规模数据并行计算。在MapReduce模型中，数据从Mapper阶段经过shuffle阶段传递到Reducer阶段，以实现基于key的聚合操作。...
揭示WordCount背后逻辑：MapReduce Shuffle过程深度解析
MapReduce Shuffle过程概述 MapReduce Shuffle是Hadoop框架中一个关键的数据处理过程，它负责在Map和Reduce任务之间转移数据。Shuffle过程不仅仅是简单地将数据从Map端传输到Reduce端，其背后涉及到复杂的数据处理...
MapReduce详解Shuffle过程
08-04
MapReduce详解Shuffle过程
Hadoop概述
weixin_44481341的博客
10-08 211
1、简述HDFS的体系结构 hdfs采用了一个master和多个slave的这种主从结构。分四个部分， 一个是namenode： - 管理HDFS的命名空间，并以fsimage持久化保存。 - 在内存中维护数据块的映射信息 - 实施副本冗余策略 - 处理客户端的访问请求,并以edit持久化保存 多个datanode： - 存储真正的数据(块进行存储) - 执行数据块的读操作 - 心跳机制（3秒） 一个是secondarynamenode -
mapreduce的shuffle过程
七秒永恒
12-06 202
shuffle：map阶段的数据传递到reduce阶段，这个流程叫做shuffle   程序执行，首先启动mrAppMaster（mr） mr根据job信息，启动相应数量的mapTask进程 分片大小默认等于block（块）大小，块大小默认128M。 分片大小可以通过FileInputFormat的getSplit方法修改。 一个分片启动一个mapTask。 注意多个文件不能分到同一个...
MapReduce:详解Shuffle过程
三丰的专栏
07-13 1万+
Shuffle过程是MapReduce的核心，也被称为奇迹发生的地方。要想理解MapReduce， Shuffle是必须要了解的。我看过很多相关的资料，但每次看完都云里雾里的绕着，很难理清大致的逻辑，反而越搅越混。前段时间在做MapReduce job 性能调优的工作，需要深入代码研究MapReduce的运行机制，这才对Shuffle探了个究竟。考虑到之前我在看相关资料而看不懂时很恼火，所以在这里...
Shuffle机制
cipay666的博客
10-20 217
Shuffle机制 1）Map方法之后Reduce方法之前这段处理过程叫Shuffle 2）Map方法之后，数据首先进入到分区方法，把数据标记好分区，然后把数据发送到环形缓冲区；环形缓冲区默认大小100m，环形缓冲区达到80%时，进行溢写；溢写前对数据进行排序，排序按照对key的索引进行字典顺序排序，排序的手段快排；溢写产生大量溢写文件，需要对溢写文件进行归并排序；对溢写的文件也可以进行Combiner操作，前提是汇总操作，求平均值不行。最后将文件按照分区存储到磁盘，等待Reduce端拉取。 3）每个Red
Mapreduce的shuffle过程详解
weixin_43854618的博客
09-25 1170
MapReduce的shuffle过程可细分为两个过程： Map端： 客户端提交Job任务后，经过一系列资源分配启动MapTask后，各个MapTask就会去HDFS通过InPutFormat拿到数据，进入MapTask任务。 数据经过MapTask后会先根据Partitioner进行分区。 数据经过分区后就会进入环形缓冲区，环形缓冲区大小默认为100M，也可以通过mapred-site.xml文件进行配置，当数据达到80%的时候，环形缓冲区的数据就会发生溢出，溢出的同时也会对key进行快速排序。
MapReduceshuffle过程详解
m0_37746551的博客
02-21 415
一、shuffle概念 shuffle,洗牌的意思。在MapReduce中，shuffle将map端的无规则输出按指定的规则处理为 具有一定规则的数据后，reduce端再接收处理。 shuffle的工作阶段在map和reduce两端，即Map Shuffle和Reduce shuffle。 shuffle之前，MapReduce会对要处理的数据进行分片（split）操作，为每一个分片分配一个...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值