六、【计算】大数据Shuffle原理与实践（中） | 青训营笔记

最新推荐文章于 2024-09-12 10:05:59 发布
最新推荐文章于 2024-09-12 10:05:59 发布
阅读量275 收藏 2
点赞数 1
分类专栏： JavaWeb 文章标签： 大数据 spark java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/runofsun/article/details/126534431
版权

文章目录

  👉引言💎

学习的最大理由是想摆脱平庸，早一天就多一份人生的精彩；迟一天就多一天平庸的困扰。
热爱写作，愿意让自己成为更好的人…
…
在这里插入图片描述

铭记于心
🎉✨🎉我唯一知道的，便是我一无所知🎉✨🎉

三、shuffle过程

0 发展历程

  1. Spark 0.8 及以前 Hash Based Shuffle

  2. Spark 0.8.1为 Hash Based Shuffle引入File Consolidation机制

  3. Spark 0.9 引入 ExternalAppendOnlyMap

  4. Spark 1.1 引入 Sort Based Shuffle, 但默认仍 Hash Based Shuffle

  5. Spark 1.2 默认的 Shuffle方式改为 Sort Based Shuffle

  6. Spark 1.4 引入 Tungsten-Sort Based Shuffle

  7. Spark 1.6 Tungsten-Sort Based Shuffle 并入 Sort Based Shuffle

  8. Spark 2.0 Hash Based Shuffle退出历史舞台

1 spark中的shuffle变迁过程

  • 1.1 HashShuffle

    • 优点：不需要排序

    • 缺点：打开，创建的文件过多

    Writer Data：

    每个partition映射到一个独立的文件：

    在这里插入图片描述

    优化：

    每个partition映射到一个文件片段

在这里插入图片描述

  • 1.2 SortShuffle

    • 优点：打开的文件少、支持map-side combine

    • 缺点：需要排序

    Writer Data：

    每个task生成一个包含所有partiton数据的文件

    在这里插入图片描述

  • 1.3 TungstenSortShuffle

    • 优点：更快的排序效率，更高的内存利用效率

    • 缺点：不支持map-side combine

2 Shuffle - Read Data

每个reduce task分别获取所有map task生成的属于自己的片段

在这里插入图片描述

Shuffle 过程的触发流程

在这里插入图片描述

在这里插入图片描述

3 Register Shuffle

Register Shuffle 时做的最重要的事情是根据不同条件创建不同的shuffle Handle

  • 由action算子触发DAG Scheduler进行shuffle register

  • Shuffle Register会根据不同的条件决定注册不同的ShuffleHandle

4 Shuffle Handle

  • 4.1 三种ShuffleHandle对应了三种不同的ShuffleWriter的实现

  • 4.2 Writer实现 - BypassMergeShuffleWriter

    • 不需要排序,节省时间

    • 写操作的时候会打开大量文件

    • 类似于Hash Shuffle

在这里插入图片描述

  • 4.3 Writer实现 - UnsafeShuffleWriter

    使用类似内存页储存序列化数据

    数据写入后不再反序列化

在这里插入图片描述

  • 4.4 Writer实现 - UnsafeShuffleWriter

    只根据 partition 排序 Long Array

    数据不移动

在这里插入图片描述

  • 4.5 Writer实现 - SortShuffleWriter

    在这里插入图片描述

    • 支持combine

    • 需要combine时,使用PartitionedAppendOnlyMap,本质是个HashTable

    • 不需要combine时PartitionedPairBuffer本质是个array

5 Reader实现 - 网络时序图

  • ShuffleReader网络请求流程

    使用netty作为网络框架提供网络服务，并接受reducetask的fetch请求

    首先发起openBlocks请求获得streamId，然后再处理stream或者chunk请求

  • ShuffleBlockFetchIterator

在这里插入图片描述

  • 区分local和remote节省网络消耗

  • 防止OOM

    • maxBytesInFlight

    • maxReqsInFlight

    • maxBlocksInFlightPerAddress

    • maxReqSizeShuffleToMem

    • maxAttemptsOnNettyOOM

  • External Shuffle Service

为了解决Executor为了服务数据的fetch请求导致无法退出问题，我们在每个节点上部署一个External Shuffle Service，这样产生数据的Executor在不需要继续处理任务时，可以随意退出

6 shuffle优化技术

  • 6.1 Zero Copy

    • 不使用zero copy

    在这里插入图片描述

    • 使用sendfile

      在这里插入图片描述

    • 使用sendfile + DMA gather copy

      在这里插入图片描述

  • 6.2 Netty Zero Copy

    • 可堆外内存,避免JVM堆内存到堆外内存的数据拷贝

    • CompositeByteBuf, Unpooled.wrappedBuffer, ByteBuf.slice ,可以合并、包装、切分数组,避免发生内存拷贝

    • Netty 使用FileRegion 实现文件传输, FileRegion底层封装了FileChannel#transferTo()方法,可以将文件缓冲区的数据直接传输到目标Channel,避免内核缓冲区和用户态缓冲区之间的数据拷贝

  • 6.3常见问题

    数据存储在本地磁盘,没有备份

    IO并发:大量RPC请求(M*R)

    IO吞吐:随机读、写放大(3X)

    GC频繁,影响 NodeManager

7 shuffle 优化

  • 避免shuffle ——使用broadcast替代join

    //传统的join操作会导致shuffle操作。
//因为两个RDD中，相同的key都需要通过网络拉取到一个节点上，由一个task进行join操作。
val rdd3 = rdd1.join(rdd2)

//Broadcast+map的join操作，不会导致shuffle操作。
//使用Broadcast将一个数据量较小的RDD作为广播变量。
val rdd2Data = rdd2.collect()
val rdd2DataBroadcast = sc.broadcast(rdd2Data)

//在rdd1.map算子中，可以从rdd2DataBroadcast中，获取rdd2的所有数据。
//然后进行遍历，如果发现rdd2中某条数据的key与rdd1的当前数据的key是相同的，那么就判定可以进行join。
//此时就可以根据自己需要的方式，将rdd1当前数据与rdd2中可以连接的数据，拼接在一起（String或Tuple）。
val rdd3 = rdd1.map(rdd2DataBroadcast...)

//注意，以上操作，建议仅仅在rdd2的数据量比较少（比如几百M，或者一两G）的情况下使用。
//因为每个Executor的内存中，都会驻留一份rdd2的全量数据。

  • 使用可以map-side预聚合的算子

  • Shuffle 参数优化

    • spark.default.parallelism && spark.sql.shuffle.partitions

    • spark.hadoopRDD.ignoreEmptySplits

    • spark.hadoop.mapreduce.input.fileinputformat.split.minsize

    • spark.sql.file.maxPartitionBytes

    • spark.sql.adaptive.enabled && spark.sql.adaptive.shuffle.targetPostShuffleInputSize

    • spark.reducer.maxSizeInFlight

    • spark.reducer.maxReqsInFlight spark.reducer.maxBlocksInFlightPerAddress

8 Shuffle 倾斜优化

在这里插入图片描述

  • 解决倾斜方法举例

    • 增大并发度

      实现简单，但无法从本质上解决问题

    在这里插入图片描述

    • AQE

      AQE 根据shuffle文件统计数据自动检测倾斜数据,将那些倾斜的分区打散成小的子分区,然后各自进行join

    在这里插入图片描述

  • 零拷贝

    • sendfile+DMA gather copy

  • Netty 零拷贝

    • 可堆外内存，避免 JVM 堆内存到堆外内存的数据拷贝。

    • CompositeByteBuf 、 Unpooled.wrappedBuffer、 ByteBuf.slice ，可以合并、包装、切分数组，避免发生内存拷贝

    • Netty 使用 FileRegion 实现文件传输，FileRegion 底层封装了 FileChannel#transferTo() 方法，可以将文件缓冲区的数据直接传输到目标 Channel，避免内核缓冲区和用户态缓冲区之间的数据拷贝

🌹写在最后💖：
路漫漫其修远兮，吾将上下而求索！伙伴们，再见！🌹🌹🌹在这里插入图片描述

梦想new的出来
关注
专栏目录
【AI大数据计算原理与代码实例讲解】Spark SQL
程序员光剑
06-04 1190
在当今大数据时代,海量数据的存储和处理给传统的数据处理方式带来了巨大挑战。企业需要从海量数据中快速获取有价值的信息,以支持业务决策和创新。然而,传统的数据处理技术如关系型数据库,在面对TB甚至PB级别的数据时,在性能和扩展性方面都显得力不从心。统一分析平台的崛起随着大数据技术的发展，越来越多的企业开始采用统一的分析平台来进行数据处理和分析。Spark SQL作为其中的重要组成部分，其应用将会越来越广泛。与机器学习的深度融合。
个人笔记：分布式大数据技术原理（一）Hadoop 框架
艺术架构
01-06 1424
Apache Hadoop 软件库是一个框架，它允许使用简单的编程模型，实现跨计算机集群的大型数据集的分布式处理。它最初的设计目的是为了检测和处理应用程序层的故障，从单个机器扩展到数千台机器（这些机器可以是廉价的），每个机器提供本地计算和存储，而不是依靠硬件提供高可靠性。
大数据-Shuffle过程
逍遥云恋
12-23 1462
6. Shuffle 过程 map 阶段处理的数据如何传递给 reduce 阶段，是 MapReduce 框架中最关键的一个流 程，这个流程就叫 shuffle shuffle: 洗牌、发牌 ——（核心机制：数据分区，排序，分组，规约，合并等过程） shuffle 是 Mapreduce 的核心，它分布在 Mapreduce 的 map 阶段和 reduce 阶段。一般 把从 Map 产生输出开...
MapReduce:详解Shuffle过程
每天一小步
04-08 1732
[size=medium] /** * author : 冶秀刚 * mail : dennyy99@gmail.com */ Shuffle过程是MapReduce的核心，也被称为奇迹发生的地方。要想理解MapReduce， Shuffle是必须要了解的。我看过很多相关的资料，但每次看完都云里雾里的绕着，很难理清大致的逻辑，反而越搅越混。前段时间...
大数据Shuffle原理
cblock1的博客
08-01 2148
Shuffle原理
大数据计算框架——MapReduce（内含详细的shuffle过程）
cc的博客
06-01 2352
MapReduce1. MapReduce模型简介2. Map 和 Reduce 函数2.1 Map函数2.2 Reduce函数2.3 两个函数的关系图3. MapReduce工作流程3.1 工作流程概述（注意两点）3.2 工作流程图片说明4. MapReduce执行的各个阶段4.1 共6个阶段二级目录二级目录 1. MapReduce模型简介 MapReduce同样是谷歌公司的MapReduce的开源实现，其要比谷歌的MapReduce的使用门槛低很多。MapReduce将复杂的、运行于大规模集群上的并行
大数据之Shuffle详解
最新发布
ytp552200ytp的博客
09-12 1065
大数据之Shuffle详解
【学习笔记】大数据技术原理与应用（MOOC视频、厦门大学林子雨）
weixin_30437847的博客
08-13 3972
1 大数据概述大数据特性：4v volume velocity variety value 即大量化、快速化、多样化、价值密度低 数据量大：大数据摩尔定律 快速化：从数据的生成到消耗，时间窗口小，可用于生成决策的时间非常少；1秒定律，这和传统的数据挖掘技术有着本质区别（谷歌的dremel可以在1秒内调动上千台服务器处理PB级数据） 价值密度低，商业价值高大数据影响： 对科学研究影响：出现科...
大数据面经笔记
qq_43399188的博客
06-07 229
如果 NameNode 宕机了，可能会导致 HDFS 不可用。在这种情况下，需要一些步骤来恢复数据并重新启动 HDFS。首先，通过备份机制和规范的操作方法，确保您有最新版本的 Fsimage 和编辑日志文件。手工启动一个 Secondary NameNode，以便将保存在 Fsimage 和编辑日志中的名称空间信息合并到新的 Fsimage 文件中。要做到这一点，运行 "hadoop namenode -checkpoint"命令可以强制执行 checkpoints 并减少数据损失风险。
大语言模型原理与工程实践：数据瓶颈问题分析和解决方法原理与应用
程序员光剑
06-25 387
在过去的几年里，随着深度学习技术的飞速发展，大规模语言模型（Large Language Models, LLMs）在自然语言处理（Natural Language Processing, NLP）领域取得了显著的进展。这些模型通过在大规模无标签文本数据上进行预训练，学习到了丰富的语言知识和常识，并在各种NLP任务中表现出色。然而，随着模型规模的不断扩大和应用场景的不断拓展，数据瓶颈问题日益凸显，成为制约大语言模型进一步发展的关键因素。
青训营-大数据shuffle原理与实践
m0_73426012的博客
09-13 535
map任务的shuffle writer过程完成后，增加了一个额外的操作push-merge,将数据复制 份推到远程shuffle服务.上magnet shuffle service是一个强化版的ESS。目前在各个引擎中shuffle都是优化的重点，在spark框架中，shuffle 是支撑spark进行大规模复杂数据处理的基石。如果magnet上的block因为重复或者冲突等原因，没有正常完成merge的过程，则reduce task直接拉取未完成merge的block。
大数据之Shuffle各流程介绍
weixin_43339889的博客
10-16 1244
MapReduce的shuffle阶段介绍
大数据技术 - MapReduce的Shuffle及调优
weixin_30526593的博客
04-16 193
本章内容我们学习一下 MapReduce 中的 Shuffle 过程，Shuffle 发生在 map 输出到 reduce 输入的过程，它的中文解释是 “洗牌”，顾名思义该过程涉及数据的重新分配，主要分为两部分：1. map 任务输出的数据分组、排序，写入本地磁盘 2. reduce 任务拉取排序。由于该过程涉及排序、磁盘IO、以及网络IO 等消耗资源和 CPU 比较大的操作，因此该过程向来是“兵...
大数据知识宝典（Spark篇之shuffle过程）
一往无前
09-21 719
注：本文主要摘录于尚硅谷大数据的学习资料，仅作学习记录，请勿用于商业用途。 Spark shuffle过程 HashShuffle过程介绍 Spark丰富了任务类型，有些任务之间数据流转不需要通过Shuffle，但是有些任务之间还是需要通过Shuffle来传递数据，比如wide dependency的group by key。 Spark中需要Shuffle输出的Map任务会为每个Reduce创建对应的bucket，Map产生的结果会根据设置的partitioner得到对应的bucketId，然后填充到
Spark-Part1.大数据生态圈中的Shuffle过程
qq_42104423的博客
05-24 324
1.Shuffle 首先什么是shuffle，在Hadoop生态圈中，经常会提到MappSide和ReduceSide，这两端是最经典的MSR范式。在Hadoop中，Shuffle的过程由Map端的输出结束到Reduce端的开始，这个过程统称为Shuffle的过程。Shuffle经常围绕着大量的聚合、分组的过程。例如我们再HiveSQL中执行一条最简短的 SELECT COUNT(*) FROM TABLE GROUP BY COLUMN_A 这句SQL中group by函数就会造成shuffle过程的出
大数据开发：Spark Shuffle详解
shuimuzh123的博客
04-30 389
众所周知，Spark计算引擎，是在Hadoop MapReduce的基础之上进行了优化，已达到提升计算性能的目的。Spark与MapReduce一脉相承，在计算当中，也就涉及到Map阶段和Reduce计算。今天的大数据开发分享，我们就来具体讲一讲Spark Shuffle。Shuffle概念解读 Shuffle最早出现于MapReduce框架中，负责连接Map阶段的输出与Reduce阶段的输入。Shuffle阶段涉及磁盘IO、网络传输、内存使用等多种资源的调用，所以Shuffle阶段的执行效率影响整个作业的
浅谈大数据-Shuffle流程（无图）
Linzx的学习笔记
02-14 595
一、什么是shuffle 在map输出之后，再到reduce接收之前的流程 shuffle会频繁的IO操作（磁盘IO等），为此了解shuffle是有必要的 shuffle可以分为map端和reduce端的操作 二、shuffle之map端 1、map端的操作 分区 写入环形缓冲区 溢写到磁盘（排序-合并-写文件） 归并spill文件形成大文件 2、map端的流程 < k, v > 数据在进入缓冲区前要分区，通过Partitioner.getPartition():< k, v,
大数据之Hadoop(MapReduce)： MapReduce框架原理
weixin_43597208的博客
06-02 197
目录1.MapReduce 工作流程2.流程详解3 注意事项 1.MapReduce 工作流程 2.流程详解 上面的流程是整个 mapreduce 最全工作流程，但是 shuffle 过程只是从第 7 步开始到第16 步结束， map后到reduce前为shuffle阶段，可分为map-shuffle 阶段和 shuffle-reduce阶段； 具体 shuffle 过程详解， 如下： map-shuffle 阶段 1） maptask 收集我们的 map()方法输出的 kv 对，放到内存环形缓冲区中
将数据打乱shuffle
qq_44778404的博客
10-22 272
两种方式: 1. from sklearn.utils import shuffle shuffle(data) np.random.shuffle(data)
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

梦想new的出来

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值