Spark调优学习记录（十一）Map端调大ShuffleWrite溢写时输出流缓冲

于 2024-04-15 08:53:43 发布
阅读量211 收藏
点赞数 1
分类专栏： Spark调优学习记录 文章标签： spark 学习 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yuliangwan_jiangyan/article/details/137765053
版权

源码

文件输出流缓冲区大小（游泳池放水的水管子流速）

开始写，要攒够条数，才能flush一次磁盘

结论

这三个参数，只有spark.shuffle.file.buffer是可以加大的，相当于增大排水管流量。

实验

优化前

代码

结果

优化后

代码

结果

对比

哇~游泳池排空大大提速了！！

Spark调优：性能调优、JVM调优、shuffle调优、算子调优、troubleshooting调优、数据倾斜
Big_data_implicit_
12-27 2534
目录 一、性能调优 1、分配资源 2、提高spark运行的并行度 3、重构RDD架构以及RDD持久化 4、使用广播变量 5、使用Kryo序列化 6、使用fastutil集合 7、调节数据本地化等待时长(s) 二、JVM调优 1、JVM调优：降低cache操作的内存占比 2、JVM调优：executor堆外内存与连接等待时长 三、shuffle性能调优 1、shuffle的原理 2、shuf...
【Spark源码】RDD shuffle溢写&归并排序
九筒的博客
05-15 501
RDD shuffle溢写 核心代码 if (shouldSpill) { _spillCount += 1 logSpillage(currentMemory) //溢写，查看ExternalSorter.scala文件第239行 spill(collection) _elementsRead = 0 _memoryBytesSpilled += currentMemory releaseMemory() //溢写之后释放内存 } 分析代码步骤 在sortshuffle
spark的shuffle的write原理逻辑
我爱吃果冻的博客
09-14 957
1. shuffle 逻辑流程 2. shuffleDependency是什么 shuffleDependency是两个Stage中的连接属性。 shuffleDependency即是上游Stage的一个参数。有是下游Stage的一个属性。 3. shuffleDependency的Handler最优选择。 shuffleDependency在注册shuffleManager的时候会调用registerShuffle。 registerShuffle会选择..
Spark日志过大导致磁盘溢出问题解决方案
PowerMe
05-20 1522
一 问题背景 平台近期出现多次spark任务日志文件将磁盘打满，导致平台异常报警和任务失败的情况，这些任务包括Spark-Streaming任务和普通Spark任务。产生该问题的原因主要是： Spark-Streaming任务运行时间比较长，Executor和Driver进程产生的Spark系统日志数量很大；业务用户在应用代码中使用System.out.print等输出了大量的调试信息（曾有任务运行40分钟打满100G日志文件）。以上信息全部输出在Yarn Container日志路径下的stdout和std
Spark之调优指南
qq_34993631的博客
02-19 363
Spark之系统调优指南 我们写好的代码像是一些信息的有序组合，硬件资源就像是能量。我们就是想让信息去最大限度的利用好这些能量去达完成我们的目标。具体的我们要尽可能的去压榨CPU资源，减小网络传输，减少内存的浪费，避免磁盘IO带来的时间效率的低下。下面从几个维度去总结一些Spark的优化。 以下为石杉老师课程笔记的整理： 内存 内存花费在哪里 1、每个Java对象，都有一个对象头，会占用...
Spark Shuffer机制
congzi1984的专栏
02-09 471
1、概要 1）、从Stage划分，最后一个Stage称为ResultStage，前面被称为ShufferMapStage，一个ShufferMapStage结束会有一个写磁盘操作。 2）、Spark Shuffer分为Map和Reduce阶段，跟MapReduce不一样，有Map程序和Reduce程序 3）、ResultStage结束了，Shuffer一定会有读写磁盘，一个Job的运行就结束...
Spark Shuffle调优之调节map端内存缓冲与reduce端内存占比
yscoder的博客
11-27 369
一. 引言 本文首先介绍Spark中的两个配置参数: spark.shuffle.file.buffer map端内存缓冲 spark.shuffle.memoryFraction reduce端内存占比 很多博客会说上面这两个参数是调节Spark shuffle性能的利器，实际上并不是这样的。 以实际的生产经验来说，这两个参数没有那么重要，往往来说shuffle的性能不是因为这方面的原因决定的，但是整体来说还是有一点点效果的。 这两个shuffle调优的小点能带来一些性能的提升，与其他...
Spark调优之Shuffle调优 调节map端内存缓冲和reduce端内存占比
李献计的博客
07-07 863
map端内存缓冲: spark.shuffle.file.buffer (map端内存缓冲，默认32kb) reduce端内存占比: spark.shuffle.memoryFraction (reduce端内存占比，默认0.2，20%) 理论基础和问题背景： 首先需要声明的是，这两个参数会被认为是调节shuffle的不二选择，但事实是调节这两个参数会对shuffle调优有效果，但并不是决定性的。...
【Spark调优篇03】Spark之Shuffle调优1
08-04
当map端处理的数据量较大，而缓冲区固定不变时，数据可能会频繁地溢写到磁盘，造成大量不必要的磁盘IO操作，从而降低性能。通过调整`spark.shuffle.memoryFraction`参数，可以增大map端缓冲区的内存占比，减少溢写...
Spark---Shuffle调优之调节map端内存缓冲与reduce端内存占比
tianqinglei的博客
09-16 2117
1、map端内存缓冲，reduce端内存占比概述 map端内存缓冲，reduce端内存占比；很多资料、网上视频，都会说，这两个参数，是调节shuffle性能的不二选择，很有效果的样子，实际上，不是这样的。 以实际的生产经验来说，这两个参数没有那么重要，往往来说，shuffle的性能不是因为这方面的原因导致的 但是，有一点点效果的，broadcast，数据本地化等待时长；这两个shuffl
spark内存溢出怎么办
最新发布
代妈炼金术师
02-21 1347
Spark内存溢出（OOM，Out Of Memory）通常指的是在执行任务时，Executor或Driver的内存资源不足以容纳运行中的数据和中间结果，从而导致应用程序崩溃。综上所述，解决Spark内存溢出问题需要综合分析应用场景和具体错误日志，结合上述策略调整资源配置和优化代码实现。
Spark Troubleshooting
07-01 483
目录控制reduce端缓冲大小以避免OOMJVM GC导致的shuffle文件拉取失败解决各种序列化导致的报错解决算子函数返回NULL导致的问题解决YARN-CLIENT模式导致的网卡流量激增问题解决YARN-CLUSTER模式的JVM内存溢出持久化与checkpoint的使用 控制reduce端缓冲大小以避免OOM 在Shuffle过程，reduce端task并不是等到map端task将其数据全部写入磁盘后再去拉取，而是map端写一点数据，reduce端task就会拉取一小部分数据，然后立即进行后面的聚合
spark shuffle·读写流程 和 rdd持久化
weixin_60343465的博客
12-03 460
1.对比mapreduce和spark mapreduce里 map的第3条就是说，比如我存了很多条数据，如果一条一条写进磁盘，肯定有很多次IO，我先归并到一个缓存里面再溢写磁盘。spark与其的差别就是用map代替了buffer，因为map存的key唯一，用map的话可以直接完成combiner操作，且map的key里也有分区的key，避免了一定的排序操作。除此之外，spark溢写也是必须触发磁盘的但是多次利用的数据可以放入内存=======================================
Spark 的Shuffle原理及调优
XMZHSY的博客
09-11 2351
在MapReduce框架，Shuffle是连接Map和Reduce之间的桥梁，Map阶段通过shuffle读取数据并输出到对应的Reduce，而Reduce阶段负责从Map端拉取数据并进行计算。在整个shuffle过程中，往往伴随着大量的磁盘和网络I/O。所以，Hadoop中的shuffle性能的高低也会直接决定了整个程序的性能高低。具体Shuffle过程详解，如下：1MapTask收集我们的map()方法输出的kv对，放到内存缓冲区中。
spark_shuffle相关参数整理
zhr2415658919的博客
12-07 1010
当ShuffleManager为SortShuffleManager时，如果shuffle read task的数量小于这个阈值（默认是200），则shuffle write过程中不会进行排序操作，而是直接按照未经优化的HashShuffleManager的方式去写数据，但是最后会将每个task产生的所有临时磁盘文件都合并成一个文件，并会创建单独的索引文件。：如果作业可用的内存资源较为充足的话，可以适当增加这个参数的大小（比如96m），从而减少拉取数据的次数，也就可以减少网络传输的次数，进而提升性能。
Spark调优第二篇
weixin_40503364的博客
02-27 1448
Spark原理第一篇 1 观察执行流程 Explain 查看日志 也可以webUI 界面里面观察 2 资源调优 资源上限的估算 资源内存的估算 资源内存比例调整的估算 例如 sparkSQL 默认 shuffle 并行度是 200，将设数据量为 100 G，那么每个 task 的数据量为 100G/200 = 500 mb。 如果每个 executor core 数量为4，则需要的执行内存为 4*500 = 2G，执行内存占总内存百分之30，则可以算出每个节点需要的总内存为 2 * 10/3 G +
大数据之Spark调优：Job 优化之map端优化
weixin_43597208的博客
09-18 465
map-side 预聚合，就是在每个节点本地对相同的 key 进行一次聚合操作，类似于 MapReduce 中的本地 combiner。map-side 预聚合之后，每个节点本地就只会有一条相同的key，因为多条相同的 key 都被聚合起来了。
Spark源码2.4.2之Shuffle写过程
hkl15111093042的博客
07-01 842
ShuffleManager介绍 spark之所以比mapReduce的性能高其中一个主要的原因就是对shuffle过程的优化，一方面spark的shuffle过程更好地利用内存（执行内存），另一方面对于shuffle过程中溢写的磁盘文件归并排序和引入索引文件。当然，spark性能高的另一个主要原因还有对计算链的优化，把多步map类型的计算chain在一起，大大减少中间过程的落盘，这也是spark...
Spark Shuffle原理、Shuffle操作问题解决和参数调优
weixin_30861797的博客
11-11 334
摘要： 1 shuffle原理 　　1.1 mapreduce的shuffle原理 　　　　1.1.1 map task端操作 　　　　1.1.2 reduce task端操作 　　 1.2 spark现在的SortShuffleManager 2 Shuffle操作问题解决 　　 2.1数据倾斜原理 2.2 数据倾斜问题发现与解决 2...
spark shuffle调优之调节map端内存缓冲与reduce端内存占比
03-16
Spark Shuffle调优中，调节Map端内存缓冲与Reduce端内存占比是非常重要的一步。 在Map端，可以通过调节spark.shuffle.file.buffer参数来控制内存缓冲大小，从而提高Map端的性能。一般情况下，可以将该参数设置为128...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值