第34课：彻底解密Spark 2.1.X中Shuffle 中SortShuffleWriter排序源码内幕解密

最新推荐文章于 2024-07-08 11:50:48 发布
最新推荐文章于 2024-07-08 11:50:48 发布
阅读量1.3k 收藏 1
点赞数
分类专栏： SparkInBeiJing Spark shuffle
热烈祝贺Gavin大咖2024年北京航空航天大学两本新书《Transformer&ChatGPT解密：原理、源码及案例》、《Transformer& Rasa 解密: 原理、源码及案例》出版发行
本文链接：https://blog.csdn.net/duan_zhihua/article/details/71600151
版权
本文详细解析了Spark 2.1.x版本中Shuffle过程中SortShuffleWriter的排序机制。重点介绍了SortShuffleWriter的write方法和writePartitionedFile的实现，包括如何利用ExternalSorter进行内存和磁盘数据的排序、归并，以及如何根据分区ID和自定义比较器进行排序。同时，文章深入探讨了WritablePartitionedIterator和WritablePartitionedPairCollection的角色，以及如何通过Sorter进行排序。
摘要由CSDN通过智能技术生成

第34课：彻底解密Spark 2.1.X中Shuffle 中SortShuffleWriter排序源码内幕解密

本文根据家林大神系列课程编写 http://weibo.com/ilovepains

Spark Shuffle一个至关重要的内容，我们的SortShuffle内部到底怎么排序的？这里的排序是从整个框架的角度讲，SortShuffle在不考虑业务排序的情况下是怎么进行排序的？SortShuffle最原始的排序是按照Partition进行排序的。

         SortShuffle的排序我们主要是看它的Write方法，因为只有进行输出的时候才涉及到排序。涉及排序中非常关键的一行代码。

1.          val partitionLengths =sorter.writePartitionedFile(blockId, tmp)  

 

        writePartitionedFile的基本工作机制是ExternalSorter在进行排序的时候可能一部分数据在内存中，一部分数据在磁盘上，在磁盘上的数据可能

了解本专栏 订阅专栏 解锁全文 超级会员免费看
段智华
关注
专栏目录
订阅专栏
《Spark商业案例与性能调优实战100课》第28课：彻底解密Spark Sort-Based Shuffle排序具体实现内幕和源码详解
段智华的博客
03-01 797
《Spark商业案例与性能调优实战100课》第28课：彻底解密Spark Sort-Based Shuffle排序具体实现内幕和源码详解
Spark Shuffle源码分析系列之SortShuffleWriter
进击的数据小白
11-04 657
上一节我们分析了BypassMergeSortShuffleWriter，它是Hash风格的ShuffleWriter，主要适用于不需要map-side聚合排序，并且分区数目小于spark.shuffle.sort.bypassMergeThreshold<默认200>；本节我们来介绍SortBased-ShuffleWriter，它可以处理map端的聚合排序操作，是默认的ShuffleWriter。 ShuffleMapTask整体流程 Spark中负责具体的Shuffle Map端执行任.
Spark的Shuffle(一) - SortShuffleWriter
淡定一生2333的博客
01-08 1151
上一篇“shuffle的一些概念”中提到了三种shuffle的方式，此处先来分析下SortShuffleWriter，结合代码一起调试下看看它内部到底是如何运行的。 选择带有聚合的算子调试就行了，例如对一个pairRDD进行reduceByKey操作，然后就可以跳到对应的源码里面了，可以看出reduceByKey算子使用的是确实是SortShuffleWriter： 直接跑到运行Task的...
spark shuffle写操作——SortShuffleWriter
最新发布
weixin_43839095的博客
07-08 947
写入的简单流程：1.生成ExternalSorter对象2.将消息都是插入ExternalSorter对象中3.获取到mapOutputWriter，将中间产生的临时文件合并到一个临时文件4.生成最后的data文件和index文件可以看到写入的重点类是ExternalSorter对象。
Spark Shuffle之SortShuffleWriter
u011564172的博客
06-05 7691
介绍SortShuffleWriter的实现
《Spark商业案例与性能调优实战100课》第34课：彻底解密Spark 2.1.X中Shuffle 中SortShuffleWriter排序源码内幕解密
段智华的博客
03-21 958
《Spark商业案例与性能调优实战100课》第34课：彻底解密Spark 2.1.X中Shuffle 中SortShuffleWriter排序源码内幕解密
Spark商业案例与性能调优实战100课》第36课：彻底解密Spark 2.1.X中Sort Shuffle中Reducer端源码内幕.pptx>>
段智华的博客
03-23 973
Spark商业案例与性能调优实战100课》第36课：彻底解密Spark 2.1.X中Sort Shuffle中Reducer端源码内幕.pptx>>
第35课：彻底解密Spark 2.1.X中Sort Shuffle 中TimSort排序源码具体实现
段智华的博客
05-18 1372
第35课：彻底解密Spark 2.1.X中Sort Shuffle 中TimSort排序源码具体实现Spark 2.1.X中Sort Shuffle 中TimSort排序:         1,从Spark 1.6.x开始,默认核心的Shuffle是Sort  Shuffle，同学们可能有个印象Sort Shuffle要完成数据排序的，但这个印象是有问题的，例如写个最简单的WordCount程序，
第33课：彻底解密Spark 2.1.X中Shuffle 中Mapper端的源码实现
段智华的博客
05-10 795
第33课：彻底解密Spark 2.1.X中Shuffle 中Mapper端的源码实现本文根据家林大神系列课程编写 http://weibo.com/ilovepainsSpark是MapReduce思想的实现之一，在一个作业中，会把不同的计算按照不同的依赖关系分成不同的Stage，前面的Stage是后面Stage的Mapper，构建的一个有向无环图。我们研究Shuffle，实际上要研究Mapper
spark shuffle写操作三部曲之SortShuffleWriter
weixin_30797199的博客
08-06 225
提出问题 1. spark shuffle的预聚合操作是如何做的，其中底层的数据结构是什么？在数据写入到内存中有预聚合，在读溢出文件合并到最终的文件时是否也有预聚合操作？ 2. shuffle数据的排序是如何做的？ 分区内的数据是否是有序的？若有序，spark 内部是按照什么排序算法来排序每一个分区上的key的？ 3. shuffle的溢出操作和TaskMemoryManager的...
Spark ShuffleWriter之SortShuffleWriter详解
初心江湖路的博客
11-22 588
Spark在stage执行边界（宽依赖时产生stage边界）上会发生shuffle操作。具体表现为shuffle write和shuffle read。shuffle write操作在map阶段进行，表现在map结果写出到磁盘文件的时候。 Spark版本目前共有三个类型的ShuffleWriter，分别是UnsafeShuffleWriter、BypassMergeSortShuffleWrite...
spark2原理分析-shuffleWriter：SortShuffleWriter实现分析
zg_hover的专栏
11-15 336
概述 本文分析shuffleWriter的实现类：SortShuffleWriter的详细实现。 ShuffleWriter抽象类 /** * Obtained inside a map task to write out records to the shuffle system. */ private[spark] abstract class ShuffleWriter[K, V] { ...
spark 2.3源码分析之SortShuffleWriter
lzf的博客
08-20 847
SortShuffleWriter 概述 SortShuffleWriter它主要是判断在Map端是否需要本地进行combine操作。如果需要聚合，则使用PartitionedAppendOnlyMap；如果不进行combine操作，则使用PartitionedPairBuffer添加数据存放于内存中。然后无论哪一种情况都需要判断内存是否足够，如果内存不够而且又申请不到内存，则需要进行本地磁盘...
源码解析Spark各个ShuffleWriter的实现机制（三）——SortShuffleWriter
Christopher_L1n的博客
02-09 1175
源码解析Spark shuffle过程中的SortShuffleWriter
spark SortShuffleWriter的实现
不说话装高手
03-24 320
SortShuffleWriter是spark中一种shuffle的方式，一下是其write()方法。 override def write(records: Iterator[Product2[K, V]]): Unit = { sorter = if (dep.mapSideCombine) { new ExternalSorter[K, V, C]( contex...
Spark源码分析（十）：SortShuffleWriter
lxlneversettle的博客
04-06 324
SortShuffleWriter SortShuffleWriter可以进行map端join 下面通过源码来看一下SortShuffleWriter是如何工作的 源码分析 首先我们需要看两个重要属性 /* * 首先，这两个数据结构都是在数据溢写到文件前在内存中来存储数据的 * 如果我们需要进行Map端的合并，那么我们就使用PartitionedAppendOnlyMap，当我们向该数据结构进...
Spark中几种ShuffleWriter的区别你都知道吗？
SmallCatBaby的博客
06-17 738
一.前言 在Spark中有三种shuffle写，分别是BypassMergeSortShuffleWriter、UnsafeShuffleWriter、SortShuffleWriter。分别对应三种不同的shuffleHandle。 这三者和ShuffleHandle的对应关系如下： UnsafeShuffleWriter:SerializedShuffleHandle Byp...
DES算法在网络安全中的应用：加密解密实践
"网络安全课程设计的重点是基于DES算法实现通信过程中的加密解密，旨在通过实际编程加深对网络安全理论的理解，提高程序设计能力。DES算法是用于保障数据安全的重要工具，它使用64位密钥对64位数据进行加密和解密，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

段智华

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值