创建SparkContext的时候,new SparkContext(master, appName, [sparkHome], [jars]),
第一个参数是master,具体含义如下:
Master URLs
传递给Spark的master URL可以是以下任一种形式:Master URL 含义
local 使用一个Worker线程本地化运行SPARK(完全不并行)
local[K] 使用K个Worker线程本地化运行Spark(理想情况下,K应该根据运行机器的CPU核数设定)
spark://HOST:PORT 连接到指定的Spark单机版集群(Spark standalone cluster)master。必须使用master所配置的接口,默认接口是7077.
mesos://HOST:PORT 连接到指定的Mesos集群。host参数是Moses master的hostname。必须使用master所配置的接口,默认接口是5050.
如果没有指定的msater URL, spark shell 的默认值是“local”。
如果在YARN上运行,Spark会在YARN上,启动一个standalone部署的集群实例,查看 running on YARN获得更多详情。