Spark系列(四)Spark集群模式详解

前言

Spark的部署模式有Local、Local-Cluster、Standalone、Yarn、Mesos,其中Yarn和Mesos是类似的，都不需要额外部署Spark集群,其中Yarn也是有Yarn-Client，Yarn-Cluster两种模式。Mesos和Yarn差不多，在这就不详细说明了。

一、Local模式

Local模式分为Local本地模式和Local-Cluster本地伪分布式集群模式，两种具体的构建如下：

部署模式	说明
“local”	最简单的本地模式。这种本地模式下，任务的失败重试次数为1，即失败不重试。
local[*]、local[N]	指定线程个数的本地模式，指定方式及最终的线程数如下：1）local[*]：当前处理器个数。2）local[N]：指定的N。这种本地模式下，任务的失败重试次数为1，即失败不重试。
local[*, M]、local[N, M]	指定线程个数以及失败重试次数的本地模式，仅比上一种本地模式多了一个失败重试次数的设置，对应为M。
local-cluster[numSlaves, coresPerSlave, memoryPerSlave]	本地伪分布式集群，由于本地模式下没有集群，因此需要构建一个用于模拟集群的实例：localCluster = new LocalSparkClust