Standalone模式
1.当启动Spark-shell本身的时候命令终端返回的是ClientEndpoint和SparkDeploySchedulerBackend,这是因为此时还没有任何Job的触发,只是启动Application本身而已,所以只是实例化SparkContext并注册当前的应用程序给Master且从集群获得ExecutorBackend计算资源
2.DAGScheduler划分好Stage后,会通过TaskSchedulerImpl中的TaskSetManager来管理当前要运行的Stage中的所有任务TaskSet,TaskManager会根据locality aware来为Task分配计算资源、监控Task的执行状态(例如重试、慢任务进行推测式执行等)
TaskScheduler与SchedulerBackend
1.总体的底层任务调度的过程如下:
a>TaskSchedulerImpl.submitTasks主要的作用是将TaskSet加入到TaskSetManager中进行管理;
b>SchedulableBuilder.addTaskSetManager: SchedulableBuilder会确定TaskSetManager的调度顺序,然后按照TaskSetManager的locality aware来确定每个Task 具体运行在哪个ExecutorBackend中。
c>CoarseGrainedSchedulerBackend.reviveOffers:给DriverEndpoint发送ReviveOffouers,ReviveOffouers本身是一个空的case object对象,只是起到触发底层资源调度的作用,在有Task提交或计算资源变动的是时候会发送ReviveOffers作为触发器。
d>在DriverEndpoint接受ReviveOffouers并路由到makeOffers具体的方法中,在makeOffers中,首先准备好所有可以用于计算的workOffers(代表了所有可用的ExecutorBackend中可以使用的Cores信息)
e>TaskSchedulerImpl.resourceOffers为每一个Task具体分配计算资源,输入是ExecutorBackend可用的cores,输出是TaskDescription的二维数组,在其中确定了每个Task具体运行在哪个ExecutorBackend;resourceOffers到底是如何确定Task具体运行在哪个ExecutorBackend上的?
i.通过Random.shuffle方法重新洗牌所有的计算资源以寻求计算的负载均衡
ii.根据每个ExecutorBackend的cores的个数声明类型为TaskDescription的ArrayBuffer数组
iii.如果有新的ExecutorBackend分配给我们的Job,此时会调用executorAdded来获得最新的完整的可用计算资源
iv.通过调用TaskSetManager的resourceOffers最终确定每个Task具体运行在哪个ExecutorBackend的具体的Locality Level
f>通过launchTasks把任务发送给ExecutorBackend去执行
说明:
(1)Task默认的最大重试次数是4次。
(2)Spark应用程序目前支持两种调度器:FIFO、FAIR,可以通过spark-env.sh中的spark.scheduler.mode进行具体的设置;默认情况下是FIFO的模式。
(3)TaskScheduler中要负责为Task分配资源:根据计算本地性原则确定Task具体要运行在哪个ExecutorBankend中,此时程序已经具备集群中的计算资源了。
(4)TaskDescription中已经确定好了Task具体要运行在哪个ExecutorBankend中,而确定Task具体要运行在哪个ExecutorBankend中的算法是由TaskSetManager的resourceOffers决定的。
(5)数据本地优先级从高到低依次为:PROCESS_LOCAL, NODE_LOCAL, NO_PREF, RACK_LOCAL, ANY, 其中NO_PREF是指机器本地性。
(6)每个Task默认是采用一个线程进行计算的。
(7)DAGScheduler是从数据层面考虑preferedLocation的,而TaskScheduler是从具体计算Task角度考虑计算的本地性。
(8)Task进行广播时候,AkkFrameSize大小是128MB,如果任务大于等于128MB-200K的话,则Task会直接被丢弃掉,如果小于128MB-200K的话会通过CoarseGrainedSchedulerBackend去launchTask到具体的ExecutorBackend上。