Spark1.6.3 on Yarn 调度总览

最新推荐文章于 2024-03-09 14:07:16 发布

ibingoogle

最新推荐文章于 2024-03-09 14:07:16 发布

阅读量613

点赞数

分类专栏： Spark 文章标签： spark yarn Scheduling Overview

本文链接：https://blog.csdn.net/ibingoogle/article/details/53976465

版权

Spark 专栏收录该内容

3 篇文章 0 订阅

订阅专栏

本文介绍了Spark在Yarn上运行时的调度流程，从Stage划分、TaskSet选择、Executor选取到Task调度的详细过程。默认调度策略为FIFO，同时探讨了Delay Scheduling策略和Executor的分配方式。

摘要由CSDN通过智能技术生成

先放图再分析, 估计后续的2.0版本也差不多，应该不会有大变动

0. Scheduling OverView

1. Stage选择

DAGScheduler.scala接收到一个Job提交后，会根据computing chain和 RDDs之间的dependencies自后向前建立DAG图并划分若干stages。然后从前向后依次提交stage，因为stages之间具有依赖关系，因此stage的调度可以看成是FIFO模式

2. TaskSet选择

选择好stage之后，会根据该stage中最后一个RDD的partitions数量决定tasks的数量，并将这些tasks封装成一个TaskSetManger，TaskSetManager负责管理每个task的状态；然后将Manager加入SchedulerBuilder.scala中，它主要负责多个TaskSets的调度，调度方法有FIFO和Fair两种，默认为FIFO；最后产生sortedTaskSets。

3. Executor选择

选择好taskSet之后，并且有资源时，就可以选择Executor了。对于多个Executors，TaskSchedulerImpl.scala会先将它们随机打乱，这是为了防止总是优先选择前几个Executor；然后采用轮转的方法轮流选择Executor

4. task调度

选择好taskSet和Executor之后, 会根据taskSet中每个task对locality的要求以及Delay Scheduling策略与该Executor进行匹配，匹配成功则表示Driver端调度成功，接下来会与Executor通信，进行实际调度。

5. Executor调度

Executor调度是最早进行的，只有所有Executor都部署好了，才能运行任务（除非是动态资源分配-Dynamic Resource Allocation）。因为Spark运行在Yarn之上，那么每个executor被封装在一个Container里面。Container的调度有FIFO，Fair以及Capacity 三种

ToDo：Job之间的调度规则