Spark内核解析(二) 任务调度机制

Spark内核解析(二) 任务调度机制

在上一篇博文中，我们讲解了Spark Yarn-Cluster模式下的任务提交流程
https://blog.csdn.net/Sarahdsy/article/details/106817884。

在之前的两篇博文里面已经带着走过源码了，这里就关注下实现原理和机制。
https://blog.csdn.net/Sarahdsy/article/details/106650319
https://blog.csdn.net/Sarahdsy/article/details/106845432

这一篇我们来具体说明Driver的工作流程。Driver线程主要是初始化SparkContext对象，准备运行所需的上下文。然后一方面保持与ApplicationMaster的RPC连接，通过AM申请资源；另一方面根据用户业务逻辑开始调度任务，将任务下发到已有的空闲Executor上。

当ResourceManager向ApplicationMaster返回Container资源时，ApplicationMaster就尝试在对应Container上启动Executor进程。Executor进程起来后，会向Driver反向注册，注册成功后保持与Driver的心跳，同时等待Driver分发任务，当分发的任务执行完毕后，将任务状态上报给Driver

Spark 任务调度概述

在详细阐述任务调度前，首先说明下Spark里的几个概念。

一个Spark应用包括Job，Stage以及Task三个概念：

• Job是以Action方法为界，遇到一个Action方法则触发一个Job
• Stage是Job的子集，以RDD宽依赖(即Shuffle)为界，遇到Shuffle做一次划分
• Task是Stage的子集，以并行度(分区数)来衡量，分区数是多少，则有多少个Task

Spark的任务调度总体来说分