spark任务一直卡住,问题分析、解决

在Spark运行中遇到一个问题,某个job长时间执行不结束,executor和driver看似正常。通过检查executor的任务堆栈,发现存在线程锁的情况。使用SQL查询锁定的表,确认了表被其他会话锁定。最终,释放表锁解决了问题,强调了排查问题的思路和重要性。
摘要由CSDN通过智能技术生成

项目场景:

spark运行中,job一直在执行中,运行过程中会有hdfs, db的交互


问题描述:

有个同学跟我反映问题,spark运行中,job一直在执行中,executor,driver都在跑,没有任何异常, 正常是很快跑完,但跑10min都动不动,很奇怪,让我帮忙看看

在这里插入图片描述


原因分析:

碰到问题,处理问题思路: 1.先确定driver,executor是否正常,从页面看,是正常 2.看看任务在做什么,看看executor的task在干忙什么,通过executor tab把正常运行任务的task对应executor的stack打出来看看 3.问题发现:如下图:线程是running状态,但有线程锁 4.百度一下查锁的命令,查锁命令如下, 执行一下,发现确实是被其他同学上锁了。。。,问题排查、处理完毕,收工 select * from v$locked_object t1, v$session t2, dba_objects t3 where t1.session_id = t2.sid and t1.object_id = t3.object_id order by t2.logon_time;

在这里插入图片描述


解决方案:

任务卡住的原因是表被锁,释放锁就行。

关键是: 排查问题的思路!!!找出真正的问题,fix!

  • 2
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值