spark app提交流程之cluster模式

spark app提交流程之Cluster模式

前言

前面第一篇已经扒了一点以client模式提交app的部分源码流程了，当前这一篇就是以cluster模式提交app的部分流程。
接下来省略掉与driver相同部分的代码流程，直接进到差异的流程。

一、提交APP

1.1在hdp003节点提交app

1.2 然后cluster执行的代码会走这里

所以childMainClass的值是YarnClusterApplication类

二、申请资源的前期准备

2.1 反射调用YarnClusterApplication对象

它也是通过反射的方式获取了YarnClusterApplication对象。然后调用了start方法。看一下

2.2 YarnClusterApplication的start方法。

2.3创建Client对象。

1.这个client对象的构造器里面是先获取yarn客户端，然后准备好要向yarn申请一个container的资源大小用来跑driver，等。

三、申请一个container的用于执行driver

3.1执行run方法。

主要就是向RM申请一个container用于执行driver。

3.2 submitApplication方法

1.先通过launcherBackend进行连接.（连接啥？要做什么？)
2.然后初始化yarn客户端并启动，再通过yarn客户端向RM申请一个新的app。
3.然后以newAppResponse作为参数传入createContainerLauncheContext方法。

2.重要的几行代码

newAppResponse也没有啥东西，就携带要申请的container的内存，cpu参数。以及appid.

正如在xshell客户端所看的Client日志就是当前在申请资请日志。