Spark学习(三)---Spark Standalone Mode说明及参数配置详解

本文介绍了Spark Standalone Mode的启动、应用发布、程序启动、监控与日志记录及参数配置。启动包括start-master.sh、start-slaves.sh和start-all.sh;应用通过spark-shell提交,使用--master和--total-executor-cores参数;监控可通过master和worker的web UI;配置可在spark-env.sh和spark-defaults.conf中设定。
摘要由CSDN通过智能技术生成

启动集群

–启动standalone模式下master server(启动完毕后可以通过http://master:8080来看你对应的spark-url,其中master对应你机器的hostname)
./sbin/start-master.sh
–启动one or more works并且将他们连接到master
./sbin/start-slaves.sh

–全部启动
./sbin/start-all.sh

以上对应的关闭为: ./sbin/stop-all.sh
启动时候对于内存、内核使用的配置可以在conf/spark-env.sh来设置,参数可以参考官方文档:http://spark.apache.org/docs/latest/spark-standalone.html

将应用发布到集群

在提交应用到spark集群上,仅仅是传递master的 spark://IP:port URL 作为sparkContext constructor,运行一个交互的spark shell可以通过以下命令:
./bin/spark-shell –master spark://IP:PORT
也可以传递参数–total-executor-cores 来控制集群上spark-shell使用的内核数。

启动spark程序

可以通过spark-submit脚本来进行启动一个spark应用程序到集群。
具体参数可以参照官方配置文件说明:
http://spark.apache.org/docs/latest/configuration.html
如果你提交过的应用程序一直不能执行成功,那么你就可以kill掉,相应的指令:
./bin/spark-class org.apache.spark.deploy.Client kill
其中driver ID可以通过Master web UI在http://:8080 来进行查看。
你可以在SparkConf中设置相关参数如:

val conf = new SparkConf()
             .setMaster(...)
             .setAppName(...)
            
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值