基于yarn的两种提交模式剖析

yarn-cluster模式提交：首先是yarn集群中存在着resourcemanager、nodemanager.节点。应用程序通过spark-submit提交之后，会发送请求到resourcemanagermaster，请求启动application。resourcemanager分配container，在某个nodemanageer上启动applicationmaster。applicationmaster相当于是driver。此时Applicationmaster会返回resourcemanager通信请求，也就是AM找RM，请求container,启动executor。RM此时会给AM分配一批container用于启动executor，然后AM再会去找其他的NM，AM连接其他的NM，来启动executor，这里的NM就相当于worker了。executor启动之后也会向AM（那个driver）反向注册。
 

yarn-client提交模式：还是同样的，spark-submit提交应用之后，发送请求给RM，请求启动AM，此时在yarncluster上RM分配一个container在某个NM上，启动AM，但是这里的AM其实只是一个ExecutorLanucher，它仅仅是向NM请求启动executor的container容器的作用。AM请求发送给RM，RM收到请求之后，分配一批container给AM，AM根据给定的container去启动executor，启动起来的executor会反向注册到在本地启动的driver进程。这个与cluster的最大不同。
总结：yarn-client用于测试，因为，driver运行在本地，负责调度application，会与yarn集群产生超大量的网络通信，从而导致网络流量激增。好处也是显而易见，本地可以查看所有的log.方便调试；yarn-cluster，用于生产环境，driver运行在NM，此时没有网络流量激增问题，缺点就是调试不方便。本地用spark-submit提交之后。查看log的时候需要通过yarn application-logs application_id 这种方式查看。