Spark环境搭建② standalone集群模式

集群规划

node01:master
node02:slave/worker  
node03:slave/worker 

上传并加压

修改配置文件

cd /export/servers/spark-2.2.0-bin-2.6.0-cdh5.14.0/conf/
mv spark-env.sh.template spark-env.sh
#配置java环境变量
export JAVA_HOME=${JAVA_HOME}
#指定spark Master的IP
export SPARK_MASTER_HOST=node01
#指定spark Master的端口
export SPARK_MASTER_PORT=7077

mv slaves.template slaves
vim slaves 
node02
node03

通过scp命令将配置文件分发到其他机器上
scp -r  spark-2.2.0-bin-2.6.0-cdh5.14.0 node02:/$PWD
scp -r  spark-2.2.0-bin-2.6.0-cdh5.14.0 node03:/$PWD

启动和停止

在主接点上启动spark集群
cd /export/servers/spark-2.2.0-bin-2.6.0-cdh5.14.0/sbin/
启动
./start-all.sh
停止
./stop-all.sh
单独启动和停止
在master安装节点上启动和停止master
./start-master.sh 
./stop-master.sh
在Mater所在节点上启动和停止work
./start-slave.sh
./stop-slave.sh

查询web页面

http://node01:8080/