Spark调优-解决job任务运行超时或者慢的问题

于 2024-04-25 19:26:35 发布
阅读量342 收藏
点赞数
分类专栏： Spark原理、实战、总结 文章标签： spark 大数据 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lukabruce/article/details/138197690
版权
本文详细介绍了Spark中三个关键参数——spark.shuffle.io.connectionTimeout、spark.rpc.numRetries和spark.network.timeout的作用及它们之间的关系。通过实战经验分享，建议在遇到任务运行超时或慢的问题时如何调整这些参数。此外，还提到了数据倾斜问题和开启推测执行机制的建议，以提高任务执行效率。
摘要由CSDN通过智能技术生成

1 三个参数各自的作用（都配置在spark-default.conf文件中）

1.1 spark.shuffle.io.connectionTimeout （默认值是120s）

这个参数设置了在 shuffle 过程中，当一个 reduce 任务尝试从 map 任务读取数据时，建立连接的超时时间。如果在这个时间内连接没有成功建立，那么 reduce 任务可能会认为 map 任务没有响应，并可能触发重试机制。这个超时时间的设置对于网络状

了解本专栏 订阅专栏 解锁全文 超级会员免费看
卢子墨
关注
专栏目录
订阅专栏
Spark调优：性能调优、JVM调优、shuffle调优、算子调优、troubleshooting调优、数据倾斜
Big_data_implicit_
12-27 2247
目录 一、性能调优 1、分配资源 2、提高spark运行的并行度 3、重构RDD架构以及RDD持久化 4、使用广播变量 5、使用Kryo序列化 6、使用fastutil集合 7、调节数据本地化等待时长(s) 二、JVM调优 1、JVM调优：降低cache操作的内存占比 2、JVM调优：executor堆外内存与连接等待时长 三、shuffle性能调优 1、shuffle的原理 2、shuf...
Spark性能调优（原理篇）
最新发布
qq_43303296的博客
01-21 621
2020年6月，Spark正式发布了新版本，从2.4直接跨越到了3.0。这次大版本升级的亮点就在于性能优化，它添加了诸如自适应查询执行（AQE）、动态分区裁剪（DPP）、扩展的Join Hints等特性。**Spark已经成为了各大头部互联网公司的标配，在海量数据处理上，扮演着不可获取的关键角色。**比如，字节跳动基于Spark构建的数据仓库去服务几乎所有的产品线，包括抖音、今日头条、西瓜视频、火山视频等。再比如，百度基于Spark推出BigSQL，为海量用户提供次秒级的即席查询。可以预见的是，
优化Spark作业性能的几种方法
liqinkuaia的博客
01-04 591
除了上述的资源调优、数据倾斜处理、缓存持久化和Shuffle优化外，还可以通过代码层面的优化来提高Spark作业的性能。数据倾斜是Spark作业中常见的问题之一，它会导致某些任务处理的数据量远大于其他任务，从而影响整体性能。：对于可以进行聚合操作的数据，可以在map阶段进行部分聚合，从而减少Shuffle过程中的数据传输量。：通过给倾斜的键添加随机数前缀，可以将它们分散到不同的分区中，从而减少数据倾斜的影响。：尽量使用窄依赖的转换操作，避免使用宽依赖的转换操作，以减少Shuffle操作的开销。
为什么spark的job任务运行速度慢
astudybear的博客
03-17 4897
spark的job运行速度慢回答 分析过程： 第一个、分析时应该分析数据量小的时候还是数据量大的时候 如果是数据量小的时候，可能会出现任务卡住了，任务卡住可能有两种原因第一是调度器有问题（yarn有问题，可能是nodemanager挂掉了，他就没办法安排任务了，nodemanager的队列塞满了）还有一种可能就是spark引擎自身的问题，可能会发生内存泄露问题，泄露到hadoop底层环境，hadoop底层是java，你要去看java的gc（垃圾回收机制），可能是java的gc线程阻塞没办法...
监控Spark运行超时及kill掉重跑
大模型大数据攻城狮的专栏
09-03 917
在用oozie的调度任务，用shell调度spark任务，在生产环境运行时，正常1-2个小时跑完的任务，有时出现跑了5、6个小时还没跑完，造成的原因很奇怪，有可能是数据倾斜，任务占用太多资源偶尔出错。为了监控这种现象，并设定阈值为3个小时，如果超过3小时没跑完就kill掉。可以结合oozie失败重试机制实现重跑。
Spark shuffle(ExchangeExec)过多导致任务运行过慢甚至超时
monkeyboy_tech的博客
03-15 2475
背景以及现象 本文基于 spark 3.1.2 设置spark.driver.memory=2g 在调试spark sql任务的时候，发现有任务产生了200多个exchange，而且任务长期运行不出来。 分析 运行对应的sql（多个连续的join操作，且join的key都不一样），得到如下的物理计划（我们只截取了一部分）： 和之前的文章spark task过多导致任务运行过慢甚至超时 做法一样(对应的内存都是调优完后的镜像信息)，三部曲如下： 用jstat -gcutil查看一下对应的gc情况，如下：
Apache Spark Jobs 性能调优
小草君技术专栏
07-06 1980
Apache Spark Jobs 性能调优
Spark-SQL常用调优参数汇总
三米学习笔记杂货铺
05-18 3652
写在前面的话：因为本人在职，所以没有充分的时间写博客，所以经常是写好整个框架，再陆陆续续的补充修改。所以如果发现什么错误请留言。 本文主要是日常工作的积累，主要是简单罗列了常见的spark SQL的参数及其含义。 #Job ID /Name spark.app.name=clsfd_ad_attr_map_w_mvca_ins #yarn 进行调度，也可以是mesos，yarn，以及standa...
Hadoop、Spark和Hive调优优化原理
AI天才研究院
08-03 956
1995年伊藤博文等人提出了MapReduce计算框架，将海量的数据分布式地处理在多台计算机上，并通过分割输入数据集并将其划分为多个任务来并行执行计算，最后合并结果得到整体输出。然而随着互联网和大数据的普及以及处理器性能的提升，当时的技术已经远远超过了当时能够想象的范围。这段时间MapReduce计算框架已经成为一个主流的开源计算框架，包括Hadoop、Pig、Hive、Mahout、Storm等。
spark 参数调优
赤兔胭脂小吕布的博客
03-17 395
目录参数调优num-executorsexecutor-memoryexecutor-coresdriver-memoryspark.default.parallelismspark.storage.memoryFractionspark.shuffle.memoryFraction数据本地化shuffle调优Spark Shuffleshuffle可能面临的问题如何优化解决问题?SortShu...
spark.network.timeout参数入门
鸭梨的博客
02-24 7536
默认120s 所有网络交互的默认超时时间。 如果未配置，则将使用此配置代替spark.storage.blockManagerSlaveTimeoutMs，spark.shuffle.io.connectionTimeout，spark.rpc.askTimeout或spark.rpc.lookupTimeout。 用途 若如出现各种timeout，executor lost ,task lost spark.network.timeout 根据情况改成300(5min)或更高 参考 Configurati
spark yarn任务的executor 无故 timeout之原因分析
a11133333的博客
01-13 1714
问题： 用 spark-submit --master yarn --deploy-mode cluster --driver-memory 2G --num-executors 6 --executor-memory 2G ~~~ 提交任务时，最后一个executor 执行时间 超过了 160s 导致 timeout而退出，造成任务重新执行造成用时过长。具体请看...
Spark数据写入Kudu，报Caused by: java.lang.RuntimeException: PendingErrors overflowed. Failed to write at..
一个数据小开发的博客
02-03 1248
错误如下： 2021-02-01 17:11:13 ERROR TaskSetManager:73 - Task 0 in stage 4.0 failed 1 times; aborting job 2021-02-01 17:11:13 INFO TaskSchedulerImpl:57 - Removed TaskSet 4.0, whose tasks have all completed, from pool 2021-02-01 17:11:13 INFO TaskSchedulerI
Spark程序运行常见错误解决方法以及优化
AcceptedLin的博客
08-19 4343
Spark程序运行常见错误解决方法及优化 一.org.apache.spark.shuffle.FetchFailedException 1.问题描述 这种问题一般发生在有大量shuffle操作的时候,task不断的failed,然后又重执行，一直循环下去，非常的耗时。 2.报错提示 (1) missing output loc...
spark参数总结
onway_goahead的博客
12-01 2656
0.Spark Driver SparkSession.builder() .enableHiveSupport() //.appName("pipeline") .config("spark.warehouse.dir", new File("spark-warehouse").getPath) //.config("spark.shuffle.service.enabled", true) // 配合spark.dynamicAllo
【Spark篇】---Spark故障解决（troubleshooting）
weixin_33704234的博客
03-04 120
一、前述 本文总结了常用的Spark的troubleshooting。 二、具体 1、shuffle file cannot find：磁盘小文件找不到。 1)connection timeout ----shuffle file cannot find 提高建立连接的超时时间，或者降低gc，降低gc了那么spark不能堆外提供服务的时间就少了，那么超时的可能就会降低。 2)fet...
spark sql任务性能优化(基础)
一群专业码农的笔记本
11-22 7067
优化任务的意义 对于项目而言，可以节省机器计算资源 执行时间可能大幅度缩短，对于长链条任务依赖减少等待时间，尤其于上游任务而言，从而数据稳定性增加 spark UI 在上面的导航栏： 1 代表job页面，在里面可以看到当前应用分析出来的所有任务，以及所有的excutors中action的执行时间。 2 代表stage页面，在里面可以看到应用的所有stage，stage是按照宽依赖来区分的，因此粒度上要比job更细一些 3 代表storage页面，我们所做的cache persist等操作，都会在这里看
为什么你的Spark应用执行的慢并且失败 - 数据倾斜和垃圾回收
大怀特的博客
11-12 1193
像很多Spark性能上的挑战一样,这些症状也会出现程序处理数据增加而增加. 什么是数据倾斜 在理想的Spark程序,当运行join操作, join key将要平均分布到不同分区, 非常漂亮的组织不同分区来处理. 真实的业务数据是非常罕见这么整齐的组织. 通常结束 ...
spark性能调优-rdd算子调优篇
03-16
RDD算子调优是Spark性能调优的重要方面之一。以下是一些常见的RDD算子调优技巧： 1. 避免使用过多的shuffle操作，因为shuffle操作会导致数据的重新分区和网络传输，从而影响性能。 2. 尽量使用宽依赖操作（如...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

卢子墨

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值