Shuffle机制详解

最新推荐文章于 2022-11-15 22:20:23 发布
最新推荐文章于 2022-11-15 22:20:23 发布
阅读量1.1k 收藏 2
点赞数 1
文章标签： hadoop 数据库 mapreduce
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liusuoyin/article/details/108386422
版权

Shuffle机制详解

Map方法之后，在Reduce方法之前中间过程有一个shuffle机制

1、Map方法后出来的数据进入一个环形缓冲区内，环形缓冲区默认100M

2、在缓冲区内分两个方向，一个方向存数据，一个方向存数据的元数据，在装满缓冲区80%后反向

3、从缓冲区内对数据进行分区和快速排序，溢写数据到磁盘上，进入不同的分区内

4、此时进行一次可选的Combiner，合并同分区的数据，得到磁盘上一个分区内有序的文件

5、不同溢写文件之间进行一次归并排序，将不同溢写文件的相同分区合并为进行归并，合并为大文件

6、对归并后的文件可以进行一次可选的Combiner，然后将文件进行压缩

7、数据写入磁盘，每个MapTask生成一个大文件，为后面的Reduce工作准备好数据

骑白马de图图
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
shuffle的机制
03-30
这里详细的分析了hadoop的shuffle机制，具体步骤等等。
Hadoop_MapReduce_Shuffle机制
weixin_43955488的博客
01-17 490
Map方法之后，Reduce方法之前的数据处理过程称之为Shuffle。 理解： 1.Map方法得<k,v>数据，进行分区标记后存入环形缓冲区，图中环形缓冲区左边箭头是索引写入，右边箭头是数据写入，当环形缓冲区的容量达到80%时开启一个后台线程将内容溢出（spill）到磁盘，map输出继续写到缓冲区。80%后反向是从索引方向和数据方向最后写入位置的20%中间为起点，反向写索引和数据。如果到100%，要等溢写结束才能写数据，到80%的话可以一边写入环形缓冲区，一边溢出写入磁盘。 2.溢出
spark基础之shuffle机制和原理分析
热门推荐
happy19870612's blog
10-27 3万+
一 概述 Shuffle就是对数据进行重组，由于分布式计算的特性和要求，在实现细节上更加繁琐和复杂 在MapReduce框架，Shuffle是连接Map和Reduce之间的桥梁，Map阶段通过shuffle读取数据并输出到对应的Reduce；而Reduce阶段负责从Map端拉取数据并进行计算。在整个shuffle过程中，往往伴随着大量的磁盘和网络I/O。所以shuffle性能的高低也直接决定了
shuffle机制详解
Peanut的博客
08-04 4463
将map输出作为输入传递给reducer的过程称为shuffle。 shuffle存在于map和reduce阶段。   map阶段大致过程为：     写数据，分区，排序，将属于同一分区的输出合并一起写在磁盘上。   每个map任务都有一个环形内存缓冲区用于存储任务输出。环形内存缓冲区默认大小为100M。   map开始产生输出数据时，先将数据写入缓冲区中，当缓冲区中数据达到阈值（默认为0.8）时，就开始把数据溢出到本地磁盘，溢出的文件成为spill文件。溢出的过程中，map输出的数据会继续写入缓冲区，..
Spark技术内幕: Shuffle详解（一）
weixin_33862993的博客
11-29 136
通过上面一系列文章，我们知道在集群启动时，在Standalone模式下，Worker会向Master注册，使得Master可以感知进而管理整个集群；Master通过借助ZK，可以简单的实现HA；而应用方通过SparkContext这个与集群的交互接口，在创建SparkContext时就完成了Application的注册，Master为其分配Executor；在应用方创建了RDD并且在这个RDD...
什么是shuffle？shuffle的原理及过程
星空的风fly
11-15 1万+
首先，我们给 Shuffle 下了一个明确的定义，在分布式计算场景中，Shuffle 指的是集群范围内跨节点、跨进程的数据分发。我们在最开始提到，Shuffle 的计算会消耗所有类型的硬件资源。具体来说，Shuffle 中的哈希与排序操作会大量消耗 CPU，而 Shuffle Write 生成中间文件的过程，会消耗宝贵的内存资源与磁盘 I/O，最后，Shuffle Read 阶段的数据拉取会引入大量的网络 I/O。不难发现，Shuffle 是资源密集型计算，因此理解 Shuffle 对开发者来说至关重要。
Spark技术内幕: Shuffle详解
Accelerating的博客
09-07 193
Spark技术内幕: Shuffle详解 通过上面一系列文章，我们知道在集群启动时，在Standalone模式下，Worker会向Master注册，使得Master可以感知进而管理整个集群；Master通过借助ZK，可以简单的实现HA；而应用方通过SparkContext这个与集群的交互接口，在创建SparkContext时就完成了Application的注册，Master为其分配Executor；在应用方创建了RDD并且在这个RDD上进行了很多的Transformation后，触发action，通过DAG
Spark-shuffle机制.pdf
08-18
介绍Spark Shuffle机制
详解shuffle过程
12-30
纤细描述了hadoop作业运行过程中的shuffle过程
Spark 的两种核心 Shuffle 详解.pdf
10-08
Spark Shuffle 分为两种：一种是基于 Hash 的 Shuffle；另一种是基于 Sort 的 Shuffle。
MapReduce详解Shuffle过程
03-16
MapReduce详解Shuffle过程
shuffle的工作原理
一只行走在闹市的猪
06-15 1529
shuffle实现的功能 分区 决定当前key交给那个reducer进行处理 相同的key必须在一个reduce task中 默认：按照key的hashCode值对reduce的个数进行取余 如果是自定义分区，默认是对key进行分区，但是我们也可以根据value进行分区 分组 将相同的key的value进行合并，key相同的话，会分到同一组 在m...
Shuffle机制
张不帅
11-08 414
MapReduce确保每个reducer的输入都是按键排序,系统执行排序的过程(将map的输入作为输出传给reducer) map方法 写入&amp;lt;key,value&amp;gt;数据进入缓冲区 2.溢写 分区 排序 combiner为可选的流程 如果设置了,就会进行合并多次溢写的操作 spill.index:溢写文件的大小,位置信息 spill.out:溢写文件 … 多次溢写 再一...
shuffle机制和原理分析
MrLQD
02-26 2万+
Shuffle简介 Shuffle描述着数据从map task输出到reduce task输入的这段过程。shuffle是连接Map和Reduce之间的桥梁，Map的输出要用到Reduce中必须经过shuffle这个环节，shuffle的性能高低直接影响了整个程序的性能和吞吐量。因为在分布式情况下，reduce task需要跨节点去拉取其它节点上的map task结果。这一过程将会产生网络...
MapReduce的Shuffle过程详解（简单明了）
LiuYangCSND的博客
01-13 1060
读者可先粗略地看看流程图，在结合下面的文字详解，希望帮助到大家。 一、流程图 二、针对流程图的详解 1、 Input阶段： 输入file1和file2两个文件： file1文件里有这些数据： hadoop hive hbase spark spark hadoop hadoop hadoop file2文件里有这些数据： hue ...
详解MapReduce：shuffle过程
zhy_2117的博客
03-04 403
MapReduce确保每个Reducer的输入都是按键排序的，系统执行排序，将map输出作为输入传给Reducer的过程被称为shuffle。 MAP端 map函数开始产生输出时，并不是简单地将它写到磁盘上。这个过程更复杂，它利用缓冲的方式写到内存并出于效率的目的进行预排序。 每个map任务都有一个环形缓冲区用于存储任务输出。在默认情况下，缓冲区的大小为100MB，这个值可以通过mapreduce...
关于Map端的Shuffle过程与Reduce 端的Shuffle过程
weixin_45558363的博客
05-10 7395
在Map端的Shuffle过程： Map的输出结果首先被写入缓存，当缓存满时，就启动溢写操作，把缓存中的数据写入磁盘文件，并 清空缓存。当启动溢写操作时，首先需要把缓存中的数据进行分区，然后对每个分区的数据进行排序和合并，之后再写入磁盘文件。每次溢写操作会生成一个新的磁盘文件，随着Map任务的执行，磁盘 中就会生成多个溢写文件。在Map任务全部结束之前，这些溢写文件会被归并成一个大的磁盘文件，然后通知相应的Reduce任务来领取属于自己处理的数据。 Map端Suffer过程包括四个步骤： （1）输入数据和执
shuffle过程简介--笔记
weixin_30660027的博客
12-16 109
数据保存在hdfs上 拿到数据后分片处理 输入到Map 输出键值对 写到缓存，满的时候溢写到磁盘 缓存的数据写入磁盘的过程中，分区排序，合并 多个磁盘文件归并 通知Reduce任务拉取 Map端的shuffle 1输入数据和执行任务： 分片后分配Map任务，每个任务分配100M缓存 2写入缓存 在溢写过程中： 3溢写 溢写比达到0.8后...
MapReduce详解
llLucky_BOY_的博客
12-19 295
MapReduce定义 MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用” 在windows下实现wordcount public class WordCountMapper extends Mapper<LongWritable,Text,Text,IntWritable> { @Override protected void map(LongWritable key, Text value, Context cont
sklearn shuffle函数详解
最新发布
05-19
在机器学习中，我们经常需要将数据集打乱顺序，以便更好地训练模型。Scikit-learn中提供了一个方便的函数shuffle，可以用来打乱数据集。 shuffle函数的语法如下： ```python from sklearn.utils import shuffle X, y = shuffle(X, y, random_state=0) ``` 其中，X和y分别是特征矩阵和目标向量，random_state参数是随机数种子，用于确保每次运行得到的结果是一样的。 shuffle函数的原理是将X和y按照行进行打乱，即将每行数据随机地与另外一行交换位置，从而实现数据集的打乱。这样做的目的是为了避免训练模型时出现数据的顺序性，从而减少模型的过拟合现象，提高模型的泛化能力。 需要注意的是，shuffle函数并不会改变原始的X和y，而是返回一个新的打乱后的X和y。因此，在使用shuffle函数时，需要将返回的结果重新赋值给X和y，才能得到打乱后的数据集。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值