spark命令

为什么80%的码农都做不了架构师？>>>   

spark目录下有sbin和bin，sbin主要针对启动和停止，bin是spark运行相关。

出现过standalone集群跑久了，stop命令失效的情况，这个时候需要kill -9直接强制杀死所有worker和master进程。

一、启动，按顺序执行命令。如果需要关闭集群，则按反顺序执行即可。

1、启动spark集群

spark HA模式

执行sbin/start-slave.sh出现过无法启动slaves的情况，提示 start-slave.sh <spark-master-URL>，所以尽量用第一种方法。

1).在master1上启动master和所有slaves，执行：sbin/start-all.sh

    在master2上启动master，执行：sbin/start-master.sh

2).在master1上启动master，执行：sbin/start-master.sh

    在master2上启动master，执行：sbin/start-master.sh

    在所有slave节点上启动slave，执行：sbin/start-slave.sh

非spark HA模式

1).在master上启动master和所有的slaves，执行：sbin/start-all.sh

2).在master上启动master，执行：sbin/start-master.sh

    在master上启动所有的slaves，执行：sbin/start-slaves.sh

2、启动spark history server服务，经测试，history server可以在随便哪个spark节点上启用

在master上启动history server，执行：sbin/start-history-server.sh

二、bin/spark-shell使用，具体请使用bin/spark-shell --help查看使用帮助

bin/spark-shell --master spark://hadoop2:7077,hadoop3:7077 --deploy-model client

启动spark shell，--master：链接spark集群的master地址，--deploy-model：驱动程序的运行模式




 

转载于:https://my.oschina.net/cjun/blog/620012