yarn的提交流程和spark在yarn的提交流程

yarn的提交流程

1.用户向 YARN 提交一个应用程序，向RM申请启动ApplicationMaster，
RM 为这个应用程序分配第一个 Container，并与之对应的 NM 通讯，
要求 它在这个 Container 中启动应用程序 ApplicationMaster。
2.ApplicationMaster 向 RM 注册，然后拆分为内部各个子任务，
AM 采用轮询的方式向 RM 申请和领取资源。
3.RM 为 AM 分配资源，以 Container 形式返回。
4.AM 申请到资源后，便与之对应的 NM 通讯，要求 NM 启动任务。
5. 各个任务向 AM 汇报自己的状态和进度，以便当任务失败时可以重启任务。
6.应用程序完成后，ApplicationMaster 向 ResourceManager 注销并关闭自己。

spark在yarn的提交流程 client模式

1.在客户端提交Spark任务，Driver在客户端启动
2.客户端向ResourceManager申请启动ApplicationMaster
3.RM收到请求之后，随机找到一台NodeManager节点，启动ApplicationMaster
4.Am启动之后，采用轮询的方式向RM申请资源，RM返回一批NM节点
5.AM连接NM节点启动Executor，Executor启动之后注册给Driver
6.Driver发送task，监控task执行，回收结果

spark在yarn的提交流程 cluster模式

1.客户端提交Spark Application ,首先客户端向RM申请启动AM
2.RM收到请求之后，随机找到一台NM节点启动AM，AM启动之后相当于是Driver
3.AM向RM申请启动Executor ,RM返回一批资源给AM
4.AM连接NM启动Executor,Executor启动之后向AM注册
5.AM发送task，监控task执行和回收结果