yarn-cluster模式提交:首先是yarn集群中存在着resourcemanager、nodemanager.节点。应用程序通过spark-submit提交之后,会发送请求到resourcemanagermaster,请求启动application。resourcemanager分配container,在某个nodemanageer上启动applicationmaster。applicationmaster相当于是driver。此时Applicationmaster会返回resourcemanager通信请求,也就是AM找RM,请求container,启动executor。RM此时会给AM分配一批container用于启动executor,然后AM再会去找其他的NM,AM连接其他的NM,来启动executor,这里的NM就相当于worker了。executor启动之后也会向AM(那个driver)反向注册。
yarn-client提交模式:还是同样的,spark-submit提交应用之后,发送请求给RM,请求启动AM,此时在yarncluster上RM分配一个container在某个NM上,启动AM,但是这里的AM其实只是一个ExecutorLanucher,它仅仅是向NM请求启动executor的container容器的作用。AM请求发送给RM,RM收到请求之后,分配一批container给AM,AM根据给定的container去启动executor,启动起来的executor会反向注册到在本地启动的driver进程。这个与cluster的最大不同。
总结:yarn-client用于测试,因为,driver运行在本地,负责调度application,会与yarn集群产生超大量的网络通信,从而导致网络流量激增。好处也是显而易见,本地可以查看所有的log.方便调试;yarn-cluster,用于生产环境,driver运行在NM,此时没有网络流量激增问题,缺点就是调试不方便。本地用spark-submit提交之后。查看log的时候需要通过yarn application-logs application_id 这种方式查看。