Spark 提交任务流程

Spark 应用程序提交到 Yarn 环境中执行的时候，一般会有两种部署执行的方式：Client 和 Cluster。
两种模式主要区别在于：Driver 程序的运行节点位置。

• Yarn Cluster 模式：Cluster 模式将用于监控和调度的 Driver 模块启动在 Yarn 集群资源中执行，一般用于实际生产环境。
  （1）任务提交后 Client 会和 ResourceManager 通讯申请启动 ApplicationMaster；
  （2）ResourceManager 分配 Container，在合适的 NodeManager 上启动 ApplicationMaster，此时的 ApplicationMaster 就是 Driver；
  （3）Driver 启动后向 ResourceManager 申请 Executor 内存，ResourceManager 接到 ApplicationMaster 的资源申请后会分配 Container，然后在合适的 NodeManager 上启动 Executor 进程；
  （4）Executor 进程启动后会向 Driver 反向注册，Executor 全部注册完成后 Driver 开始执行 main 函数；
  （5）执行到 Action 算子时，触发一个 Job，并根据宽依赖开始划分 stage，每个 stage 生成对应的 TaskSet，之后将 task 分发到各个 Executor 上执行；
• Yarn Client 模式：Client 模式将用于监控和调度的 Driver 模块在客户端执行，即 Driver 在任务提交的本地机器上运行&