关于spark active jobs 卡死原因，求助

最新推荐文章于 2022-08-27 05:50:18 发布
最新推荐文章于 2022-08-27 05:50:18 发布
阅读量2.9k 收藏
点赞数
分类专栏： spark 文章标签： spark activejobs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41876298/article/details/80776349
版权

调整并行度为1000后，spark上出现大量的active jobs，并且始终不结束

以前红圈处为默认200，执行后偶尔会出现active jobs 死掉的任务，改成1000是为了提升性能，从单个执行情况看比200要快50%，但是遇到了这个糟心的问题......


最早的一波active jobs：


点击详情，发现是first显示未执行结束：


但是实际上已经执行结束了：



查看各种材料，可能是由于内部监听的时序问题导致：https://issues.apache.org/jira/browse/SPARK-18838


诸位大神，有谁遇到过，撒点思路吧~~


大叔奶茶
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark任务卡死
keyuquan的博客
06-17 7367
spark阶段 parkcore standalone /yarn 模式运行的时候 client 模式正常运行， cluster 模式卡死 spark-env.sh 里的配置  SPARK_MASTER_PORT=7077 SPARK_MASTER_WEBUI_PORT=8080 SPARK_WORKER_CORES=2 SPARK_WORKER_MEMORY=1G      #开辟
spark 启动job的流程分析
隔壁老杨的专栏
05-02 4549
从WordCount开始分析 编写一个例子程序 编写一个从HDFS中读取并计算wordcount的例子程序: packageorg.apache.spark.examples importorg.apache.spark.SparkContext importorg.apache.spark.SparkContext._ objectWordCount{ defm
spark 核心作业调度和任务调度
u011007180的博客
11-24 3739
摘要： 基本概念 　　　　1.1   Application 　　　　1.2    Job 　　　　1.3   Stage 　　　　1.4   TaskSet 　　　　1.5   Task 　　　　1.6   DAG       2.相关的类 　　　　2.1DAGScheduler 　　　　2.2ActiveJob 　　　　2.3S
【原创】大叔问题定位分享（7）Spark任务中Job进度卡住不动
weixin_30840253的博客
12-03 949
Spark2.1.1 最近运行spark任务时会发现任务经常运行很久，具体job如下： Job Id▾ Description Submitted Duration Stages: Succeeded/Total Tasks (for all stages): Succeeded/Total ...
笔记20230425关于spark-sql
04-26
cmd = "ssh root@10.195.11.200 \"/usr/local/spark-3.1.2-bin-hadoop2.7/bin/spark-sql --master spark://gpmaster:7077 --executor-memory 2G --total-executor-cores 2 --conf spark.sql.storeAssignmentPolicy=...
spark基础,关于spark的安装和几种模式的部署
09-20
Spark是大数据处理领域的一款高效、通用且可扩展的开源计算框架，它提供了并行数据处理的能力，能够在内存中快速处理大规模数据。Spark以其强大的数据处理速度、易用性及丰富的库支持而广受青睐，尤其适合实时分析和...
spark期末复习资料
最新发布
06-07
大学生期末复习《spark编程基础（python版）》
spark安装包+spark实验安装软件
06-15
Spark是Apache基金会下的一个开源大数据处理框架，以其高效、易用和可扩展性著称。Spark的核心设计理念是基于内存计算，极大地提升了数据处理速度。在本压缩包中，"spark-3.4.0-bin-without-hadoop"是Spark的一个预...
spark相关jar包
06-14
Spark是Apache软件基金会下的一个开源大数据处理框架，以其高效、灵活和可扩展的特性而闻名。Spark的核心设计是基于内存计算，它极大地提高了数据处理的速度，使得数据科学家和开发人员能够在处理大规模数据集时获得...
Hadoop与Spark常用配置参数总结
chinabinner的专栏
01-11 547
背景 MapReduce和Spark对外提供了上百个配置参数，用户可以为作业定制这些参数以更快，更稳定的运行应用程序。本文梳理了最常用的一些MapReduce和Spark配置参数。 MapReduce重要配置参数 1. 资源相关参数 (1) mapreduce.map.memory.mb: 一个Map Task可使用的资源上限（单位:MB），默认为1024。如果Map Task实际使用的资
spark任务中有task一直处于active状态无法往下执行问题解决
bale_的博客
08-27 1428
spark任务阻塞
spark学习-49-Spark的job调度
九师兄
12-03 1525
1。先看一下从源码层面梳理Spark在任务调度与资源分配上的做法。 这里涉及几个小知识点： 　　1.1。最上面的7个圆圈是如何划分stage的？ 　　　　原则：凡是RDD之间是窄依赖的，都归到一个stage里，这里面的每个操作都对应成MapTask，并行度就是各自RDD的partition数目。凡是遇到宽依赖的操作，那么就把这一次操作切为一个stage，这里面的操作对应成ResultTas
ActiveJob的使用
719
06-14 825
Rails中，ActiveJob可以用于实现类似于前面提到的分数计算这类的，添加需要周期性执行的程序。 可以使用rails generate job xxx生成job并进行Job的编写。 调用方式为xxx.perform_now或xxx.perform_later，later大概是会在空闲的时候自动进行执行。 可以设定何时进行perform操作。由于我这边的需求是每天半夜都需要进行操作，所以...
Spark-bug总结之一次task长时间卡住不动,一直Running的问题解决
一个记录普通男孩在ＩＴ界学习思考感悟的地方
02-28 5815
目录 现象 排查 现象 spark提交任务后，某一个Stage卡住，通过spark界面看到，executor运行正常，卡住的Stage的task已经分配至executor，但task 一直在running并且数据量不大，task不结束，同时log中也无异常报出。 20/07/27 07:40:13 INFO CoarseGrainedExecutorBackend: Started daemon with process name: 15841@ip-10-3-1-141.ec2.i
网络原因造成 spark task 卡住
偷闲小苑
05-10 4208
主机名映射出错背景：Yarn集群新加入了一批Spark机器后发现运行Spark任务时，一些task会无限卡住且driver端没有任何提示。解决：进入task卡住的节点查看container stderr日志，发现在获取其他节点block信息时，连接不上其他的机器节点，不停重试。 怀疑部分旧节点的/etc/hosts文件被运维更新漏了，查看/etc/hosts，发现没有加入新节点的地址，加入后问
spark任务卡住问题原因之一以及解决方案
lily's world
04-27 5923
本文是一个记录文，主要是参考网上的资料 Spark任务一直停在某个Stage不动问题 背景 pyspark 在保存数据时，在最后4-5个stage 任务卡住不动，其他stage 10几分钟完成，这几个2h也没用完成，而且在sparkUI上面发现需要处理的数据0KB，实在是郁闷啊。网上查找资料如下，链接如上： 分析 主要是使用了spark 的推断执行机制， 缺点 开始推断执行，会启动多个ta...
Spark性能优化的10大问题及其解决方案
拱头的专栏
01-05 6477
转自: http://book.51cto.com/art/201409/453045.htm 问题1：reduce task数目不合适 解决方式： 需根据实际情况调节默认配置，调整方式是修改参数spark.default.parallelism。通常，reduce数目设置为core数目的2到3倍。数量太大，造成很多小任务，增加启动任务的开销；数目太少，任务运行缓慢。
Spark -- 一次Task长时间卡住不动，一直Running的问题解决
热门推荐
TheBigBlue的博客
07-28 1万+
向导现象排查 现象   spark提交任务后，某一个Stage卡住，通过spark界面看到，executor运行正常，卡住的Stage的task已经分配至executor，但task 一直在running并且数据量不大，task不结束，同时log中也无异常报出。 20/07/27 07:40:13 INFO CoarseGrainedExecutorBackend: Started daemon with process name: 15841@ip-10-3-1-141.ec2.internal 20
Driver端如何正确取消Spark中的job
wl044090432的博客
03-30 8690
1.      SparkContext提供了一个取消job的api class SparkContext(config: SparkConf) extends Logging with ExecutorAllocationClient { /** Cancel a given job if it's scheduled or running */ private[spark] def canc
spark jobs连接失败
09-28
当Spark作业在拉取数据时遇到连接失败的情况，会导致file not found或file lost的错误。这可能是Executor的BlockManager无法建立连接导致的。默认情况下，如果超过120秒没有成功建立连接，数据拉取将会失败。如果重复尝试多次都无法拉取到数据，可能会导致Spark作业崩溃。此外，这种情况还可能导致DAGScheduler和TaskScheduler多次提交，从而显著延长作业的运行时间。 为了解决这个问题，可以尝试以下几种方法： 1. 配置适当的连接等待时长，可以通过修改spark.core.connection.ack.wait.timeout参数来增加连接等待时长。例如，可以将其设置为300秒(--conf spark.core.connection.ack.wait.timeout=300s)来提高连接的容错性。 2. 调整Executor的资源分配，确保每个Executor都有足够的资源来处理连接请求。可以通过调整--executor-cores和--executor-memory参数来分配更多资源给Executor。 3. 检查网络环境，确保Executor和BlockManager之间的网络连接畅通。可以通过ping命令或其他网络工具来测试连接的可用性。 以上是解决Spark作业连接失败的一些常见方法。根据具体情况，可能需要尝试不同的解决方案。希望对你有帮助！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值