Spark技术内幕：Shuffle Read的整体流程

最新推荐文章于 2023-03-03 16:45:57 发布
最新推荐文章于 2023-03-03 16:45:57 发布
阅读量1.6k 收藏
点赞数
分类专栏： Spark 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gaowenhui2008/article/details/44452943
版权
Spark 专栏收录该内容
18 篇文章 0 订阅 ¥19.90 ¥99.00
订阅专栏
本文深入探讨Spark Shuffle Read的过程，从ShuffledRDD的compute开始，详细解析Shuffle Manager如何获取Shuffle Reader，以及数据读取策略，包括本地读取和远程数据获取的细节。涉及关键组件如ExternalSorter、BlockStoreShuffleFetcher和ShuffleBlockFetcherIterator的工作原理。
摘要由CSDN通过智能技术生成

回忆一下，每个Stage的上边界，要么需要从外部存储读取数据，要么需要读取上一个Stage的输出；而下边界，要么是需要写入本地文件系统（需要Shuffle），以供childStage读取，要么是最后一个Stage，需要输出结果。这里的Stage，在运行时的时候就是可以以pipeline的方式运行的一组Task，除了最后一个Stage对应的是ResultTask，其余的Stage对应的都是ShuffleMap Task。

而除了需要从外部存储读取数据和RDD已经做过cache或者checkpoint的Task，一般Task的开始都是从ShuffledRDD的ShuffleRead开始的。本节将详细讲解Shuffle Read的过程。

先看一下ShuffleRead的整体架构图。


org.apache.spark.rdd.ShuffledRDD#compute 开始，通过调用org.apache.spark.shuffle.Shuf

了解本专栏 订阅专栏 解锁全文
蒙奇·D·路飞-
关注
专栏目录
订阅专栏
Spark技术内幕：Shuffle的性能调优
GY的的专栏
03-19 1万+
通过上面的架构和源码实现的分析，不难得出Shuffle是Spark Core比较复杂的模块的结论。它也是非常影响性能的操作之一。因此，在这里整理了会影响Shuffle性能的各项配置。尽管大部分的配置项在前文已经解释过它的含义，由于这些参数的确是非常重要，这里算是做一个详细的总结。 1.1.1  spark.shuffle.manager 前文也多次提到过，Spark1.2.0官方支持两种方式的
Spark技术内幕：Shuffle Pluggable框架详解，你怎么开发自己的Shuffle Service？
GY的的专栏
03-19 978
首先介绍一下需要实现的接口。框架的类图如图所示（今天CSDN抽风，竟然上传不了图片。如果需要实现新的Shuffle机制，那么需要实现这些接口。 1.1.1  org.apache.spark.shuffle.ShuffleManager Driver和每个Executor都会持有一个ShuffleManager，这个ShuffleManager可以通过配置项spark.shuffle.
Spark Shuffle模块——Suffle Read过程分析
weixin_34221775的博客
12-21 245
在阅读本文之前，请先阅读Spark Sort Based Shuffle内存分析 Spark Shuffle Read调用栈如下： 1. org.apache.spark.rdd.ShuffledRDD#compute() 2. org.apache.spark.shuffle.ShuffleManager#getReader()...
Spark Shuffle Read过程
07-12 2460
1. ShuffledRDD的compute()方法 override def compute(split: Partition, context: TaskContext): Iterator[(K, C)] = { val dep = dependencies.head.asInstanceOf[ShuffleDependency[K, V, C]] SparkEnv.g
SparkCore — ShuffleReader过程
zlx_code的专栏
09-08 293
Shuffle Reader   在之前的博客中，分析了shuffle map端的操作，map最终会将输出文件信息封装为一个MapStatus发送给Driver，然后ResultTask或ShuffleMapTask在拉取数据的时候，会先去Driver上拉取自己要读取数据的信息，比如在哪个节点上，以及在文件中的位置。下面我们来分析一下ShuffleReader，首先Map操作结束之后产生的RDD...
spark shuffle·读写流程 和 rdd持久化
weixin_60343465的博客
12-03 420
1.对比mapreduce和spark mapreduce里 map的第3条就是说，比如我存了很多条数据，如果一条一条写进磁盘，肯定有很多次IO，我先归并到一个缓存里面再溢写磁盘。spark与其的差别就是用map代替了buffer，因为map存的key唯一，用map的话可以直接完成combiner操作，且map的key里也有分区的key，避免了一定的排序操作。除此之外，spark溢写也是必须触发磁盘的但是多次利用的数据可以放入内存=======================================
Shuffle Read Time调优
初心江湖路的博客
07-13 4639
先看第一张Spark任务执行时间轴的图： 红色部分是任务反序列化时间，黄色部分是shuffle read时间，绿色是实际计算任务执行时间，这里我们先不讨论任务反序列化时间长，下一篇文章说任务反序列化时间长怎么解决 1、首先shuffle read time是什么？ shuffle发生在宽依赖，如repartition、groupBy、reduceByKey等宽依赖算子操作中，在这些操作中会对Da...
SparkShuffle 及性能调优
Aying_seeyou的博客
02-04 856
shuffle调优 调优概述 　　大多数Spark作业的性能主要就是消耗在了shuffle环节，因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。因此，如果要让作业的性能更上一层楼，就有必要对shuffle过程进行调优。但是也必须提醒大家的是，影响一个Spark作业性能的因素，主要还是代码开发、资源参数以及数据倾斜，shuffle调优只能在整个Spark的性能调优中占到一小部分而已。因此...
Spark Shuffle之Write 和 Read
zp17834994071的博客
08-09 6849
前面已经和大家提到过Shuffle的具体流程和运用场景，也提到过通常shuffle分为两部分： Map阶段的数据准备和Reduce阶段的数据拷贝处理。 Shuffle Write理解： 提供数据的一端，被称作 Map 端，Map 端每个生成数据的任务称为Mapper；将在map端的Shuffle称之为Shuffle Write。 Shuffle Read理解： 接收数据的一端，被称作 Reduce 端，Reduce 端每个拉取数据的任务称为 Reducer；将在Reduce端的Shuffle称之为Shuff
【Spark】Spark Web UI - Stages
每天更新大数据面经和技术
06-12 1488
Spark Web UI - Stage
spark Shuffle Write和Read
weixin_40954192的博客
10-08 1614
spark shuffle sparkshuffle主要部分就是shuffleWrite 和 shuffleReader. 大致流程 spark通过宽依赖划分stage,如果是宽依赖就需要进行shuffle操作，上游stage的shufflemaptask进行shuffleWrite，上游的write操作做的最重要的操作其实就是分区，元数据根据MapOutputTrackerWorker汇报给driver端MapOutputTrackerMaster，下游stage去driver获取元数据，.
Spark性能优化：shuffle调优
u011007180的博客
07-17 1725
文章目录 [hide] 1 shuffle调优 1.1 调优概述 1.2 ShuffleManager发展概述 1.3 HashShuffleManager运行原理 1.3.1 未经优化的HashShuffleManager 1.3.2 优化后的HashShuffleManager 1.4 SortShuffleManager运行原理 1.4.1
Spark Shuffle解析
最新发布
qq_41982570的博客
03-03 657
Spark Shuffle解析
“戏”说spark---spark Shuffle详解（一）
weixin_35602748的博客
12-05 3559
Shuffle 过程本质上都是将 Map 端获得的数据使用分区器进行划分，并将数据发送给对应的 Reducer 的过程。 shuffle作为处理连接map端和reduce端的枢纽，其shuffle的性能高低直接影响了整个程序的性能和吞吐量。map端的shuffle一般为shuffle的Write阶段，reduce端的shuffle一般为shuffle的read阶段。Hadoop和spark的shuffle在实现上面存在很大的不同，spark的shuffle分为两种实现，分别为HashShuffle和Sort
Spark shuffle 机制，一万字总结，建议反复看
小林玩大数据
03-27 4980
带你揭开 Spark shuffle 机制迷雾！
Spark性能优化指南——高级篇
美团技术团队
05-12 8042
前言 继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以解决更加棘手的性能问题。 数据倾斜调优 调优概述 有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题...
Spark Shuffle 过程
Small_Ran的博客
07-02 3875
本篇主要阐述Spark Shuffle过程，在执行 Job 任务时，无论是 MapReduce 或者 Spark Shuffle 过程都是比较消耗性能；因为该环节包含了大量的磁盘 IO、序列化、网络数据传输等操作。因此，在这一过程中进行调参优化，就有可能让 Job 执行效率上更好。在 Spark 1.2 以前，默认的 Shuffle 计算引擎是 HashShuffleManager。该 ShuffleManager 会产生大量的中间磁盘文件，进而由大量的磁盘 IO 操作影响了性能。...
深入理解Spark Shuffle调优：从Hash到Sort
为了提升Spark作业的整体性能，对shuffle过程进行优化至关重要。然而，应当注意，代码设计、资源分配和数据倾斜也是影响性能的重要因素，shuffle调优只是其中的一环。 ShuffleManager是Spark中负责shuffle过程的...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

蒙奇·D·路飞-

感谢老板您就是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值