Spark运行模式可以分为三类:本地模式,独立模式,Spark on YARN/Mesos。
1. 本地模式
在本地模式下,Spark应用程序以多线程形式直接在本地运行,方便程序调试。
本地模式有可以分为以下三种:
local:只启动一个executor
local[k]:启动k个executor
local[*]:启动和CPU数相同的executor
在前面的spark-shell中日志中,可以看到输出信息master = local[*],表示spark-shell是在本地模式下运行,默认启动和CPU数相同的个executor。
2.Standalone模式
构建一个由Master+Slave构成的Spark集群,Spark运行在集群中。
3.Spark on Yarn/Mesos模式
Spark客户端直接连接Yarn/Mesos。不需要额外构建Spark集群。