spark Master URLs的意思

创建SparkContext的时候,new SparkContext(master, appName, [sparkHome], [jars]),

第一个参数是master,具体含义如下:


Master URLs

传递给Spark的master URL可以是以下任一种形式:


Master URL 含义
local 使用一个Worker线程本地化运行SPARK(完全不并行)
local[K] 使用K个Worker线程本地化运行Spark(理想情况下,K应该根据运行机器的CPU核数设定)
spark://HOST:PORT 连接到指定的Spark单机版集群(Spark standalone cluster)master。必须使用master所配置的接口,默认接口是7077.
mesos://HOST:PORT 连接到指定的Mesos集群。host参数是Moses master的hostname。必须使用master所配置的接口,默认接口是5050.
如果没有指定的msater URL, spark shell 的默认值是“local”。


如果在YARN上运行,Spark会在YARN上,启动一个standalone部署的集群实例,查看 running on YARN获得更多详情。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值