Driver端如何正确取消Spark中的job

最新推荐文章于 2024-07-18 03:48:08 发布

亮亮-AC米兰

最新推荐文章于 2024-07-18 03:48:08 发布

阅读量8.7k

点赞数

分类专栏： Spark 文章标签： spark 源码

本文链接：https://blog.csdn.net/wl044090432/article/details/51016483

版权

本文探讨了如何在Spark中正确取消job，通过SparkContext的API和自定义SparkListener来跟踪与取消作业。在作业提交时设置线程局部变量以标识job，当需要取消时，通过调用SparkContext的cancelJob方法，最终由executor调用Thread.interrupt。在任务代码中需检查并响应中断标志，确保清理工作。此外，还需配置spark.job.interruptOnCancel为true以启用job的中断机制。

摘要由CSDN通过智能技术生成

1. SparkContext提供了一个取消job的api

class SparkContext(config: SparkConf) extends Logging with ExecutorAllocationClient {
/** Cancel a given job if it's scheduled or running */
private[spark] def cancelJob(jobId: Int) {
  dagScheduler.cancelJob(jobId)
}
}

2. 那么如何获取jobId呢？

Spark提供了一个叫SparkListener的对象，它提供了对spark事件的监听功能

trait SparkListener {
  /**
   * Called when a job starts
   */
  def onJobStart(jobStart: SparkListenerJobStart) { }

  /**
   * Called when a job ends
   */
  def onJobEnd(jobEnd: SparkListenerJobEnd) { }
}

因此需要自定义一个类，继承自SparkListener，即：

public class DHSparkListener implements SparkListener {
private static Logger logger = Logger.getLogger(DHSparkListener.class);
//存储了提交job的线程局部变量和job的映射关系
    private static ConcurrentHashMap<String, In