文章目录
前言
上篇文章介绍了PySpark的入门案例,大致了解了Spark的开发流程,本次继续探讨Spark的两种部署模式,Client模式和Cluster模式,让我们继续往下看。
一、Spark的部署模式
在Spark中,我们编写的代码成为Driver程序,Client模式和Cluster模式的区别在于Driver程序在哪里运行,Client模式时,Driver程序在提交任务的机器上运行,而Cluster模式则是将Driver提交到集群中运行。
Client和Cluster两种模式又分别存在于Standalone集群和Spark On Yarn集群,详情如下:
(一)Client模式
1. Standalone集群下的Client模式
Driver Program是一个JVM Process进程,该模式下,Driver程序运行在提交任务的主机上