本文介绍了Spark的任务调度与资源调度的区别，重点解析了资源调度的原理。Master负责资源管理与调度，当有新应用提交或资源变化时触发schedule调用。在Cluster模式下，Driver加入等待列表，按内存和Cores要求在存活Worker中随机选择启动。Spark采用FIFO策略分配Executor，确保应用程序的资源需求。分配Executor时考虑worker状态和应用需求，目标是最大化节点利用和并发。最后，详细阐述了Executor在worker上的分配策略和启动流程。
一、任务调度和资源调度的区别
1.任务调度是通过DAGScheduler、TaskScheduler、SchedulerBackend等进行的作业调度
2.资源调度是指应用程序如何获得资源
3.任务调度是在资源调度的基础上进行的，没有资源就没有任务
二、资源调度原理
1.因为Master负责资源管理和调度，所以资源调度的方法shedule位于Master.scala这个类中，当注册程序或者资源发生改变时都会导致schedule的调用，例如注册程序的时候
2.Schedule调用的时机：每次有新的应用程序提交或者资源状况或者集群资源状况发生改变的时候，包括Executor增加或者减少、worker增加或者减少。
最低0.47元/天 解锁文章
144
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
