spark高可用集群搭建-standalone模式

集群: nn Master(Alive)
dn1 Master(Standby)
dn2 Worker
dn3 Worker
1 tar -zxvf spark-2.3.1-bin-hadoop2.7.tgz
2 vi spark-env.sh 配置standalone模式下 nn下：

    export JAVA_HOME=/home/hadoop/opt/jdk8
    export SPARK_MASTER_IP=nn
    export SPARK_MASTER_PORT=7077
    export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=dn1:2181,dn2:2181,dn3:2181 -Dspark.deploy.zookeeper.dir=/spark"
    export SPARK_WORKER_CORES=1    #指定计算资源，1个核
    export SPARK_WORKER_INSTANCES=1 #每台机器上开启的worker节点的数目
    export SPARK_WORKER_MEMORY=1024m  #每个worker节点能够最大分配给exectors的内存大小
export SPARK_EXECUTOR_MEMORY=1024m

3 dn1下：

export JAVA_HOME=/home/hadoop/opt/jdk8
export SPARK_MASTER_IP=dn1
export SPARK_MASTER_PORT