Spark的HA

step1:在Spark conf 目录 的 spark-env.sh 

export JAVA_HOME=/opt/module/jdk1.8.0_144
#export SPARK_MASTER_HOST=bigdata121
#export SPARK_MASTER_PORT=7077
#export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=FILESYSTEM -Dspark.deploy.recoveryDirectory=/opt/module/spark-2.1.0/recovery" 

该目录为ha 恢复master的目录,开发者自行配置

export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=bigdata121:2181,bigdata122:2181,bigdata123:2181 -Dspark.deploy.zookeeper.dir=/spark"

[root@bigdata121 conf]# 

step2: 拷贝spark-env.sh 到 bigdata122 、bigdata123这两台机器

    scp -r   spark-env.sh  root@bigdata122:/opt/module/spark-2.1.0/conf/ 

   scp -r   spark-env.sh  root@bigdata123:/opt/module/spark-2.1.0/conf/ 

step3:  先停止所有的 ，然后启动bigdata121,bigdata122   

      

这是启动121 ，122同理 这时会有两个ha,一个Active,一个standby

 

step4: 停掉122 后，121由active to standby ,结果如下