Spark--Shuffle原理和Shuffle调优

最新推荐文章于 2023-04-24 19:52:59 发布
最新推荐文章于 2023-04-24 19:52:59 发布
阅读量246 收藏
点赞数
分类专栏： Spark 文章标签： spark shuffle
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42946624/article/details/103275951
版权
本文详细介绍了Spark Shuffle的调优配置，包括shuffle write的buffer缓冲大小、shuffle read的buffer大小、重试机制、等待间隔、聚合操作内存比例、ShuffleManager类型以及bypass和consolidate机制。通过合理调整这些参数，可提升性能并优化稳定性。
摘要由CSDN通过智能技术生成

shuffle调优配置项如何使用？

  1. 在代码中，不推荐使用，硬编码：
new SparkConf().set("Spark.shuffle.file.buffer", "64")
  1. 在提交spark任务的时候，推荐使用：
spark-submit --conf spark.shuffle.file.
最低0.47元/天 解锁文章
奈斯Ekko
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Shuffle Read Time调优
初心江湖路的博客
07-13 4624
先看第一张Spark任务执行时间轴的图： 红色部分是任务反序列化时间，黄色部分是shuffle read时间，绿色是实际计算任务执行时间，这里我们先不讨论任务反序列化时间长，下一篇文章说任务反序列化时间长怎么解决 1、首先shuffle read time是什么？ shuffle发生在宽依赖，如repartition、groupBy、reduceByKey等宽依赖算子操作中，在这些操作中会对Da...
Spark常用参数解释及建议值
X先生的博客
02-21 404
spark的默认配置文件位于堡垒机上的这个位置: $SPARK_CONF_DIR/spark-defaults.conf，用户可以自行查看和理解。 需要注意的是，默认值优先级最低，用户如果提交任务时或者代码里明确指定配置，则以用户配置为先。 用户再理解参数含义的基础上，可根据具体任务情况调整参数。 以下常用参数配置均可以通过 --conf XXX=Y 方式使用，其他参数以及介绍请参考 https...
【基本功】Spark常用参数详解
最新发布
2301_77818583的博客
04-24 2165
官网文档永远是最好的指导手册。
spark on yarn
CottonDuke的博客
11-09 1085
Yarn：      ResourceManager, NodeManager， ApplicationMaster, Container      Yarn 集群参数调优（以CDH集群为例）   一、CPU配置：     ApplicationMaster 虚拟 CPU 内核      yarn.app.mapreduce.am.resource.cpu-
SparkShuffle 及性能调优
Aying_seeyou的博客
02-04 851
shuffle调优 调优概述 　　大多数Spark作业的性能主要就是消耗在了shuffle环节，因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。因此，如果要让作业的性能更上一层楼，就有必要对shuffle过程进行调优。但是也必须提醒大家的是，影响一个Spark作业性能的因素，主要还是代码开发、资源参数以及数据倾斜，shuffle调优只能在整个Spark的性能调优中占到一小部分而已。因此...
Spark性能调优----Shuffle调优
XiaodunLP的博客
03-26 347
  Spark性能调优之Shuffle调优    • Spark底层shuffle的传输方式是使用netty传输，netty在进行网络传输的过程会申请堆外内存（netty是零拷贝），所以使用了堆外内存。    • shuffle过程中常出现的问题 常见问题一：reduce oom?     问题...
spark-3.1.3-bin-hadoop3.2.tgz
05-19
1. 性能优化：每个版本的Spark都会进行性能调优，以提高数据处理速度和资源利用率。3.1.3可能会有针对特定工作负载的优化，例如SQL查询或机器学习算法。 2. SQL增强：Spark SQL支持多种数据源，包括Hive、Parquet、...
Spark性能优化：shuffle调优
01-29
但是也必须提醒大家的是，影响一个Spark作业性能的因素，主要还是代码开发、资源参数以及数据倾斜，shuffle调优只能在整个Spark的性能调优中占到一小部分而已。因此大家务必把握住调优的基本原则，千万不要舍本逐末...
Spark---Shuffle调优之调节map端内存缓冲与reduce端内存占比
tianqinglei的博客
09-16 2087
1、map端内存缓冲，reduce端内存占比概述 map端内存缓冲，reduce端内存占比；很多资料、网上视频，都会说，这两个参数，是调节shuffle性能的不二选择，很有效果的样子，实际上，不是这样的。 以实际的生产经验来说，这两个参数没有那么重要，往往来说，shuffle的性能不是因为这方面的原因导致的 但是，有一点点效果的，broadcast，数据本地化等待时长；这两个shuffl
spark 任务调优参数及问题整理
小小码农的博客
09-01 2115
1.数据倾斜： 最简单的做法:在sql中使用随机数distribute by rand() 在sql 末尾加 select * from a left join b on a.xx=b.xx distribute by rand() 2.spark.dynamicAllocation.enabled=true开启动态资源分配 3.提高并行度 spark.sql.shuffle.partitions=1000 ， 调整stage的并行度，也就是每个stage的task个数，默认值...
spark采用命令行方式提交的配置说明（yarn模式）-持续更新
xfysq_的博客
03-29 733
spark采用命令行方式提交的配置说明（yarn模式）
以集群方式运行pyspark
私奔在线
05-21 2630
一、背景说明 　　单机执行pyspark（python on spark）非常简单，只要在脚本所在服务器上部署个python环境或Anaconda这种集成运行环境，再通过python3命令执行就完了。 　　而想将python提交到spark集群中运行，则有两种方法，一种是在每个spark结点上部署python环境，在spark低版本与python集成没那么完善的时候，集群结点数又不多的情况下，的确可以这么干（实际上我就这么干过），这种方式比较大的优势是每次执行pyspark任务时，不用分发python环
简单搞定Spark性能优化:常见异常解决（三）
github_36444580的博客
05-31 5042
第一部分内容链接：https://blog.csdn.net/github_36444580/article/details/117037685 die
【大数据】Spark on k8s动态资源DRA使用
如切如磋，如琢如磨，臻于至善。
03-27 1046
目前在生产环境数据服务中使用到的查询引擎是spark-thriftserver2, driver和executor都是运行在k8s之上，在启动的时候，executor是driver来启动的，数量也是由driver在配置中控制的，driver可以通过scale来动态扩缩容，而每个executor没法做到自动扩缩容，所以在空闲的时候，会导致资源的浪费，在繁忙的时候，造成任务的积压。
spark优化（二）--参数调优
YYLong0的博客
02-20 1230
spark参数
Spark性能优化指南——高级篇
weixin_44487760的博客
03-14 729
有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证Spark作业的性能。大多数Spark作业的性能主要就是消耗在了shuffle环节，因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。因此，如果要让作业的性能更上一层楼，就有必要对shuffle过程进行调优。
Spark shuffle(ExchangeExec)过多导致任务运行过慢甚至超时
monkeyboy_tech的博客
03-15 2456
背景以及现象 本文基于 spark 3.1.2 设置spark.driver.memory=2g 在调试spark sql任务的时候，发现有任务产生了200多个exchange，而且任务长期运行不出来。 分析 运行对应的sql（多个连续的join操作，且join的key都不一样），得到如下的物理计划（我们只截取了一部分）： 和之前的文章spark task过多导致任务运行过慢甚至超时 做法一样(对应的内存都是调优完后的镜像信息)，三部曲如下： 用jstat -gcutil查看一下对应的gc情况，如下：
Spark2 SQL configuration参数配置
weixin_33967071的博客
11-29 544
查看当前环境SQL参数的配置 spark.sql("SET -v") key value spark.sql.hive.version 1.2.1 spark.sql.sources.parallelPartitionDiscovery.threshold 32 spark.sql.hive.metastore.barrierPrefixe...
深入理解Spark Shuffle调优：从Hash到Sort
"Spark性能优化：shuffle调优" Spark的性能优化是一个复杂且关键的任务，尤其是在大数据处理领域。 Shuffle调优是其中的一个重要环节，因为shuffle操作涉及到数据重排，这通常包括大量的磁盘I/O、序列化和网络传输...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值