Spark内核解析(二) 任务调度机制

Spark内核解析(二) 任务调度机制

在上一篇博文中，我们讲解了Spark Yarn-Cluster模式下的任务提交流程
https://blog.csdn.net/Sarahdsy/article/details/106817884。

在之前的两篇博文里面已经带着走过源码了，这里就关注下实现原理和机制。
https://blog.csdn.net/Sarahdsy/article/details/106650319
https://blog.csdn.net/Sarahdsy/article/details/106845432

这一篇我们来具体说明Driver的工作流程。Driver线程主要是初始化SparkContext对象，准备运行所需的上下文。然后一方面保持与ApplicationMaster的RPC连接，通过AM申请资源；另一方面根据用户业务逻辑开始调度任务，将任务下发到已有的空闲Executor上。

当ResourceManager向ApplicationMaster返回Container资源时，ApplicationMaster就尝试在对应Container上启动Executor进程。Executor进程起来后，会向Driver反向注册，注册成功后保持与Driver的心跳，同时等待Driver分发任务，当分发的任务执行完毕后，将任务状态上报给Driver

Spark 任务调度概述

在详细阐述任务调度前，首先说明下Spark里的几个概念。

一个Spark应用包括Job，Stage以及Task三个概念：

• Job是以Action方法为界，遇到一个Action方法则触发一个Job
• Stage是Job的子集，以RDD宽依赖(即Shuffle)为界，遇到Shuffle做一次划分
• Task是Stage的子集，以并行度(分区数)来衡量，分区数是多少，则有多少个Task

Spark的任务调度总体来说分两路进行：一路是Stage级的调度，一路是Task级的调度。

SparkRDD通过其Transactions操作，形成了RDD血缘(依赖)关系图，即DAG，最后通过Action的调用，触发Job并调度执行，执行过程中会创建两个调度器：DAGScheduler，TaskScheduler

• DAGScheduler负责Stage级的调度，主要是将job切分成若干stages，并将每个Stage打包成TaskSet交给TaskScheduler调度
• TaskScheduler负责Task级的调度，将DAGScheduler给过来的TaskSet按照指定的调度策略分发到Executor上执行。调度过程中SchedulerBackend负责提供可用的资源，其中SchedulerBackend有多种实现，分别对接不同的资源管理系统。CoarseGrainedSchedulerBackend，LocalSchedulerBackend

Driver初始化SparkContext过程中，会分别初始化DAGScheduler，TaskScheduler，SchedulerBackend，HeartbeatReceiver，并启动SchedulerBackend和HeartbeatReceiver。

<