MR的shuffle过程

于 2023-03-14 20:37:09 发布
阅读量142 收藏
点赞数
分类专栏： hadoop 文章标签： mr 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43015677/article/details/129539506
版权
MapReduce在处理大数据时，首先通过mapper进行业务逻辑处理，然后分区并利用环形缓冲区进行溢写操作。溢写前进行字典序排序，使用快速排序。溢写文件在达到一定数量后进行归并排序。Combiner进行局部聚合，不影响最终结果。所有map任务完成后，启动reduceTask，它们从map端拉取数据，先存于内存，满后转存磁盘，最后进行归并排序和分组处理。
摘要由CSDN通过智能技术生成

1.mapper()方法做业务逻辑处理，然后将数据传到分区方法中，给数据标记好分区，将数据发送到环形缓冲区环形缓冲区默认100M，达到80%的调值进行溢写操作
2.溢写之前会进行排序，排序的规则是字典序排序，排序的手段呢是快排
溢写会产生很多溢写文件，溢写文件默认达到10个会进行合并，合并时采用的算法是归并排序
3.他可以进行combiner局部帮合的操作，前操是局部整合的结果不会对最终的结果有影响
4.等到所有的maptask运行完毕，会启动一定数量的reducetask,并告知reducetask读取数据的范围(也就是分区)
5.reduceTask发起拉取线程，去map端拉取数据，拉过来的数据会先存储到内存中，内存放不下了就放到磁盘中，等到数据拉取完毕之后会再进行一个归井排序然后再对数据进行分组，以组为单位将数据发送到reduce()方法中

荣晓
关注
专栏目录
MR 的shuffle机制
qq_25460227的博客
08-01 1984
mapreduce高级特性及shuffle 第一节：shuffle机制 1.1 概述 mapreduce中，map阶段处理的数据如何传递给reduce阶段，是mapreduce框架中最关键的一个流程，这个流程就叫shuffle；shuffle:洗牌、发牌——（核心机制：数据分区，排序，缓存）；具体来说：就是将maptask输出的处理结果数据，分发给reducetask，并在分发的过程中，对数...
MR过程和Shuffle详解
weixin_44824330的博客
10-11 1856
一 MR 过程 MR框架是使用InputFormat为map所需的数据进行预处理，并为其提供数据。两个功能：切片，封装keyvalue 因为InputSplit为逻辑切分而非物理拆分，所以说还需要RecoderReader根据InputSplit中的信息里处理InputSplit中的具体信息，加载数据并转换为合适的Map任务的keyvalue，输入给Map任务 Map是自定义的逻辑，根据In...
mr！shuffle详细全过程
热门推荐
qq_15074737的博客
11-06 1万+
MapReduce的shuffle过程详解（分片、分区、合并、归并。。。） 2018年07月29日 20:56:34 ASN_forever 阅读数：626 shuffle过程 shuffle概念 shuffle的本意是洗牌、混洗的意思，把一组有规则的数据尽量打乱成无规则的数据。而在MapReduce中，shuffle更像是洗牌的逆过程，指的是将map端的无规则输出按指定的规则“打乱”成具...
MR shuffle流程详解
FlatTiger的博客
02-18 1218
Map之后，Reduce之前的这段数据处理过程，叫做shuffle。 Map端通过map方法把数据写出到环形缓冲区中。 环形缓冲区默认100M，数据达到80%时，溢写数据并反向写入索引和数据。 数据溢写后进行分区和快速排序。 分区排序后的数据可进行combiner合并数据。 merge归并分区排序后的数据。 归并后的数据还可以再进行combiner合并，然后压缩，存储到磁盘。 Reduce端先将相同分区的数据加载到缓存中，如果缓存足够，直接merge归并数据；如果缓存不够，先将数据溢写到磁盘，再进行me
MR的Shuffle过程
weixin_33966095的博客
04-27 326
为什么80%的码农都做不了架构师？>>> ...
MR Shuffle流程 入门
鸭梨的博客
12-12 428
什么是shuffle? 从map方法的输出开始,到作为输入数据传给reduce方法的过程叫做shuffle. shuffle流程是怎样的? map端 map方法开始产生输出数据时，并不是简单地将它写到磁盘. 每个map任务都会有一个环形内存缓冲区用于存储map的输出数据。在默认情况下，缓冲区的大小为100MB,这个值可以通过mapreduce.task.io.sort.mb属性来调整。一旦缓冲区的内容达到阈值（默认是0.8，或者是80%，属属性是mapreduce.map.sort.spill.percen
MapReduce详解Shuffle过程
08-04
MapReduce详解Shuffle过程 MapReduce是Hadoop生态系统中的一种分布式计算框架，而Shuffle过程是MapReduce的核心部分。Shuffle过程是将map task的输出结果传送到reduce task的过程，顾名思义，Shuffle就是洗牌或弄乱...
Hadoop开发与面试重点MR-Shuffle
01-07
这里用两张张流程图说明Shuffle的过程。 ![在这里插入图片描述](https://img-blog.csdnimg.cn/20200220153606130.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9...
Spark的Shuffle总结分析
01-07
在整个shuffle过程中，往往伴随着大量的磁盘和网络I/O。所以shuffle性能的高低也直接决定了整个程序的性能高低。而Spark也会有自己的shuffle实现过程。 1.2 Spark中的 shuffle 介绍 在DAG调度的过程中，Stage 阶段的
【MapReduce】浅谈MR Shuffle流程
Together
07-27 448
MapReduce shuffle： Map方法之后，Reduce方法之前的数据处理过程称之为Shuffle。 在shuffle之前，MapReduce通过InputFormat接口中的getSplit（）方法，对要当前要处理的HDFS块数据进行逻辑上的分片（split）操作，进而确定MapTask的个数 // 分片不会超过blockSize的大小，取goalSize和minSize的最大值 finalSplitSize=max(minSize,min(goalSize,blockSize))
mr的shuffle
02-08 840
shuffle阶段主要包括map阶段的combine（压缩）,group, sort, partition 以及reducer阶段的合并排序。 map阶段通过shuffle后会将输出数据按照reduce的分区文件进行保存，文件内容是按照定义的sort进行排序好的。Map阶段完成后会通知ApplicationMaster。 然后AM会通知reduce进行数据的拉取，在拉取过程中进行reduce端
MR的shuffer过程
qq_39519419的博客
05-27 267
1.概述 　v mapreduce中，map阶段处理的数据如何传递给reduce阶段，是mapreduce框架中最关键的一个流程，这个流程就叫shuffle； 通俗的讲， Shuffle描述着数据从map task输出到reduce task输入的这段过程 　v shuffle: 洗牌、发牌——（核心机制：数据分区，排序，缓存）； 　v 具体来说：就是将maptask输出的处理结果数据，分发给re...
MapReduce shuffle过程详解！
蔡政洁的博客
10-12 9085
目录一、MR的shuffle过程二、Map shuffle三、Reduce shuffle 一、MR的shuffle过程 MR的shuffle过程： input -> map -> shuffle -> reduce ->output MR的原理图： 二、Map shuffle 1.map()的数据会写入到内存（环形缓冲区：默认大小：100mb），当数据达到缓冲区总容量的80%（阈值）时，会将我们的数据spill到本地磁盘 1）分区（partitioner）：分
MR之shuffle机制总结
weixin_42796403的博客
11-19 2028
MR之shuffle机制~分区 一、shuffle阶段划分 Map方法之后，Reduce方法之前的处理过程就是shuffle阶段.(sort-copy-sort) 二、shuffle阶段流程分析 相关基础：
简单搞定Shuffle机制运行原理
github_36444580的博客
07-16 9520
2.4.1 概述 1）mapreduce中，map阶段处理的数据如何传递给reduce阶段，是mapreduce框架中最关键的一个流程，这个流程就叫shuffle； 2）shuffle: 洗牌、发牌（核心机制：数据分区、排序、缓存）； 3）具体来说：就是将maptask输出的处理结果数据，分发给reducetask，并在分发的过程中，对数据按key进行了分区和排序。
【MapReduce】MR 框架原理 之 Shuffle机制
懂得一千零一种,赋予你失败的方法！
01-01 290
文章目录♑ 定义♑ Map方法之后Shuffle过程   ♬ 分区   ♬ 排序   ♬ Combiner（可选）   ♬ 分区归并排序   ♬ 压缩   ♬ 写磁盘♑ Reduce方法之前Shuffle过程   ♬ 拷贝   ♬ 归并排序  &n..
MR Shuffle过程归并排序和快速排序
最新发布
LZX的博客
03-14 404
最近回顾hadoop，一个简单MapReduce shuffle过程，MapTask经历了一次快排和一次归并，ReduceTask经历了一次归并排序，回顾一下两个排序算法。
04-常见mr算法实现和shuffle的机制
春哥个人学习笔记
02-27 1832
hadoop中的序列化机制 Writable,接口是序列化的接口，Comparable是排序实现接口  1.自定义传递值的类型 package com.apollo.mr.flowsum;import org.apache.hadoop.io.WritableComparable;import java.io.DataInput;import java.io.DataOu
大数据教程（9.2）MR内部的shuffle过程详解&combiner的运行机制及代码实现
weixin_33810302的博客
12-04 364
2019独角兽企业重金招聘Python工程师标准>>> ...
mr模型的shuffle阶段
03-12
可以回答这个问题。在 MR 模型中，shuffle 阶段是指将 Map 阶段输出的中间结果按照 key 进行排序和分组，以便于 Reduce 阶段的处理。...这个过程需要进行数据的传输和排序，因此是 MR 模型中比较耗时的一个阶段。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值