python3提交spark集群_《Spark数据分析：基于Python语言 》 —3.4.2 集群模式

3.4.2　集群模式

与客户端部署模式相反，当Spark应用以集群模式运行在YARN集群上时，驱动器进程会在集群内作为ApplicationMaster的子进程运行。这种模式提供了更好的弹性，如果包含驱动器进程的ApplicationMaster进程挂掉，集群还可以在另一个节点上重启它。

程序清单3.3展示了如何使用spark-submit命令以集群模式向YARN集群提交应用。由于驱动器进程是运行在集群中的一个异步进程，因此集群模式无法支持交互式shell应用(pyspark和spark-shell)。

程序清单3.3　YARN集群的集群部署模式

图3.8提供了Spark应用在YARN集群上以集群模式运行的概览。

图3.8　在YARN集群上以集群模式运行的Spark应用

图3.8展示的步骤具体如下所述：

1)客户端是调用spark-submit的用户进程，它把Spark应用提交到集群管理器(YARN的ResourceManager)上。

2)ResourceManager为应用分配出一个ApplicationMaster(Spark的主进程)。驱动器进程在集群的同一个节点上创建。

3)ApplicationMaster向ResourceManager请求容器，以作为执行器使用。ResourceManager

把容器分配给ApplicationMaster，执行器就在这些容器内生成。然后驱动器与执行器通信来安排Spark程序中任务和阶段的处理。

4)驱动器进程运行在集群中的某个节点上，它将Spark应用的进度、结果以及状态返回给客户端。

前面所介绍的Spark应用的网页用户界面运行在集群内ApplicationMaster所运行的主机上，而YARN的ResourceMananger用户界面提供了指向Spark应用用户界面的链接。