Spark内核剖析1---Spark standalone模式提交任务过程

standalone 模式

Spark standalone模式是spark很常见的一种模式，集群角色分为Master，Worker，Driver三个端。

• Master端是集群的大脑，负责协调，分配资源给worker。
• Worker端是集群“办事的人”，主要接受Master的调度，以及driver端传来的task的执行。
• Driver端是指提交spark-submit的服务器，主要会将提交的程序分为多个的task，交由worker端执行。

具体流程如图所示：

其中的红框分别是stage划分算法，master资源调度算法，task分配算法。