【spark】两种部署模式deploy-mode：cluster，client

1. 两种模式的区别

Spark Application提交运行时部署模式Deploy Mode，表示的是Driver Program运行的地方，要么是提交应用的Client：client，要么是集群中从节点（Standalone：Worker，YARN：NodeManager）：cluster。

--deploy-mode DEPLOY_MODE
Whether to launch the driver program locally ("client") or on one of the worker machines inside the
cluster ("cluster")(Default: client).

默认值为client，当时在实际项目中，尤其在生产环境，使用cluster部署模式提交应用运行。

Cluster和Client模式最最本质的区别是：Driver程序运行在哪里。

官方的解释：
如果你进行spark-submit的机器和worker节点在地理上相近（比如同一个局域网），建议使用client模式，这时driver就在进行spark-submit的线程中。换句话说，进行spark-submit的机器没必要是集群里面的机器，如果你的笔记本安装了Spark环境，就可以提交任务到master节点，这个时候driver就在你的笔记本上运行。这时显然不推荐client模式，因为考虑到网络开销，最好使用cluster模式。使用cluster模式后，Spark就会根据调度算法在集群中选择一个机器作为driver执行的地方。

Master node根本不会执行用户提交的任务，它是负责整个调度的（运行cluster manager)。

1.1 client模式

以Spark Application运行到Standalone集群上为例，默认DeployMode为Client，表示应用Driver Program运行在提交应用Client主机上（启动JVM Process进程），示意图如下：

1. 2 cluster模式

如果采用cluster模式运行应用，应用Driver Program运行在集群的某台机器上(可以使worker也可以是master)，示意图如下：

1.3 两者比较

Cluster和Client模式最最本质的区别是：Driver程序运行在哪里。

• cluster模式：生产环境中使用该模式
  Driver程序在YARN集群中
  应用的运行结果不能在客户端显示
  cluster模式下查看打印结果

• client模式：学习测试时使用，开发不用，了解即可
  Driver运行在Client上的SparkSubmit进程中
  应用程序运行结果会在客户端显示