Spark YARN cluster 模式 工作流程

Cluster模式将用于监控和调度的Driver模块启动在Yarn集群资源中执行
1.在YARN Cluster模式下，任务提交后会和ResourceManager通讯申请启动ApplicationMaster，
2.随后ResourceManager分配container，在合适的NodeManager上启动ApplicationMaster，此时的ApplicationMaster就是Driver。
3.Driver启动后向ResourceManager申请Executor内存，ResourceManager接到ApplicationMaster的资源申请后会分配container，然后在合适的NodeManager上启动Executor进程
4.Executor进程启动后会向Driver反向注册，Executor全部注册完成后Driver开始执行main函数，
之后执行到Action算子时，触发一个Job，并根据宽依赖开始划分stage，每个stage生成对应的TaskSet，之后将task分发到各个Executor上执行。