Spark集群安装

集群角色

两个Master（类似于Hadoop中的yarn ，ResourceManager），多个worker

安装步骤

1. 解压

[root@master Spark]# tar -zxvf spark-2.2.2-bin-hadoop2.7.tgz

2. 修改文件名

[root@master conf]# mv spark-env.sh.template spark-env.sh
[root@master conf]# mv slaves.template slaves

 3. 添加配置信息

[root@master conf]# vim spark-env.sh
SPARK_MASTER_HOST=master
SPARK_MASTER_PORT=7077
[root@master conf]# vim slaves
slave1
slave2
slave3

4.HA配置

[root@master conf]# vim spark-env.sh
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=master:2181,slave1:2181,slave2,slave3 -Dspark.deploy.zookeeper.dir=/spark"

5. 启动集群

## 在master节点上启动start-all.sh
## 在slave1节点上使用start-master.sh