《spark实战》笔记04--核心模块--Scheduler

来源：《spark实战》讲义

---

[1 ] Scheduler整体介绍

• Scheduler模块作为Spark最核心的模块之一，充分体现了Spark与MapReduce的不同之处，体现了Spark DAG思想的精巧和设计的优雅。
• Scheduler模块分为两大主要部分， DAGScheduler和TaskScheduler。

---

[2 ] Scheduler之DAGScheduler

DAGScheduler把一个spark作业转换成成stage的DAG（Directed Acyclic Graph有向无环图） ， 根据RDD和stage之间的关系， 找出开销最小的调度方法，然后把stage以TaskSet的形式提交给TaskScheduler。

---

[3 ] Scheduler之TaskScheduler

TaskScheduler模块用于与DAGScheduler交互， 负责任务的具体调度和运行。任务调度模块基于两个Trait： TaskScheduler和 SchedulerBackend

---

[4 ] TaskScheduler之SchedulableBuilder
• SchedulableBuilder主要负责TaskSet的调度。
• 核心接口是： getSortedTaskSetQueue，该接口返回排序后的TaskSetManager队列，该接口供TaskSchedulerImpl调用。
• SchedulableBuilder维护的是一颗树，根节点是rootpool，叶子节点是TaskSetManager对象。

---

[5 ] TaskScheduler之TaskSetManager
• TaskSetManager主要负责一个taskset中task的调度和跟踪。
• 核心接口是： resourceOffer，该接口根据输入的资源 在taskset内部调度一个task，主要考虑因素是Locality，该接口供TaskSchedulerImpl调用。

---

[6 ] TaskScheduler之SchedulerBackend
• SchedulerBackend是trait，封装了多种backend， 用于与底层资源调度系统交互（如mesos/YARN），配合TaskScheduler实现具体任务执行所需的资源分配。
• 核心接口是： reviveOffers，与TaskSchedulerImpl交互完成task的Launch。
• SchedulerBackend只关心资源，不关心task。提交资源供TaskSchedulerImpl分配task。

---

[7 ] TaskScheduler之TaskSchedulerImpl
• TaskSchedulerImpl实现了TaskScheduler Trait，实现了资源和任务的调度。
• 核心接口是： ResourceOffers，根据提供的资源列表offers，返回满足条件的tasks，供SchedulerBackend 调用。
• 资源和任务调度的核心思想：资源驱动。即当有空闲资源时，查看是否有task需要运行（遵循Locality）

---

[8 ] TaskScheduler
• TaskScheduler是trait， 用于与DAGScheduler交互， 主要负责任务的调度和运行，无具体实现，仅仅为对外统一接口。
• 核心接口是： submitTasks，具体实现见TaskSchedulerImpl 中的submitTasks 。
• 接收DAGScheduler的Task请求，分发Task到集群运行并监控运行状态，并将结果以event的形式汇报给DAGScheduler 。