[spark] spark推测式执行

最新推荐文章于 2023-02-21 23:33:59 发布

大写的UFO

最新推荐文章于 2023-02-21 23:33:59 发布

阅读量4.1k

点赞数 1

分类专栏： spark 文章标签： spark 推测式源码

本文链接：https://blog.csdn.net/uuffo/article/details/78288921

版权

本文介绍了Spark的推测式执行机制，包括其默认关闭状态及如何开启，如何检测需要推测执行的任务，以及推测任务的调度策略。核心是当一定比例的任务成功后，计算中位数并设定阈值，对超过该阈值的任务进行推测执行，以加速Stage的完成。调度时会避免在同一主机或黑名单Executor上执行推测任务。

摘要由CSDN通过智能技术生成

概述

推测任务是指对于一个Stage里面拖后腿的Task，会在其他节点的Executor上再次启动这个task，如果其中一个Task实例运行成功则将这个最先完成的Task的计算结果作为最终结果，同时会干掉其他Executor上运行的实例。spark推测式执行默认是关闭的，可通过spark.speculation属性来开启。

检测是否有需要推测式执行的Task

在SparkContext创建了schedulerBackend和taskScheduler后，立即调用了taskScheduler 的start方法：

override def start() {
    backend.start()
    if (!isLocal && conf.getBoolean("spark.speculation", false)) {
      logInfo("Starting speculative execution thread")
      speculationScheduler.scheduleAtFixedRate(new Runnable {
        override def run(): Unit = Utils.tryOrStopSparkContext(sc) {
          checkSpeculatableTasks()
        }
      }, SPECULATION_INTERVAL_MS, SPECULATION_INTERVAL_MS, TimeUnit.MILLISECONDS)
    }
  }

可以看到，TaskScheduler在启动SchedulerBackend后，在非local模式前提下检查推测式执行功能是否开启（默认关闭，可通过spark.speculation开启），若开启则会启动一个线程每隔SPECULATION_INTERVAL_MS（默认100ms，可通过spark.speculation.interval属性设置）通过checkSpeculatableTasks方法检测是否有需要推测式执行的tasks：

// Check for speculatable tasks in all our active jobs.
  def checkSpeculatableTasks() {
    var shouldRevive = false
    synchronized {
      shouldRevive = rootPool.checkSpeculatableTasks()
    }
    if (shouldRevive) {
      backend.reviveOffers()
    }
  }

然后又通过rootPool的方法判断是否有需要推测式执行的tasks，若有则会调用SchedulerBackend的reviveOffers去尝试拿资源运行推测任务。继续看看检测逻辑是什么样的：