小伟大院的博客

原创 一次spark作业执行后进程无法关闭的原因及解决方案

最近运维的同学频频反映，spark集群作业模式，每次执行完成spark的进程端口都已经关闭了，但是通过命令执行spark作业的进程和端口却无法自动关闭，严重影响其他业务组的作业运行，但是无法关闭的情况不是经常出现，出现频率也不规范，但是执行任务正常，数据清洗加工正常，存储正常，查看日志发现是在作业执行完成会执行sparksession.stop方法，是这个方法堵塞了进程的正常关闭，但是原因从日志上...