008 Spark中standalone模式的HA（了解，知道怎么配置即可）

　　standalone也存在单节点问题，这里主要是配置两个master。

1.官网

　　

2.具体的配置

　　

 

3.配置方式一（不是太理想）

　　这种知识基于未来可以重启，但是不能在宕机的时候提供服务。

　　方式一：Single-Node Recovery with Local File System
　　　　类似于Hadoop1中的SecondaryNameNode

　　　　当出现单点故障的时候，需要手动启动master，然后master会读刚刚断掉之前的日志，类似于secondarynamenode方式。

　　做法：
　　　　1. 修改conf/sparn-env.sh配置文件，打开conf/sparn-env.sh
　　　　2. 给参数SPARK_DAEMON_JAVA_OPTS添加配置参数
　　　　　　SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=FILESYSTEM -Dspark.deploy.recoveryDirectory=/tmp/xxxx"

　　　　一个参数是恢复模式，一个参数是恢复路劲

　　

　　

 

4.配置方式二（比较给力）

　　方式二：Standby Masters with ZooKeeper
　　　　类似于Hadoop2中的NameNode的HA机制，因此会自动转移

　　做法：
　　　　1. 修改conf/sparn-env.sh配置文件
　　　　2. 给参数SPARK_DAEMON_JAVA_OPTS添加配置参数
　　　　SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hadoop-senior01:2181,hadoop-senior02:2181,hadoop-senior03:2181 -Dspark.deploy.zookeeper.dir=/spark"