基于文件系统的 HA
spark.deploy.recoveryMode设成 FILESYSTEM
spark.deploy.recoveryDirectory Spark保存恢复状态的目录
Spark-env.sh 里对 SPARK_DAEMON_JAVA_OPTS 设置
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=FILESYSTEM -Dspark.deploy.recoveryDirectory=/app/hadoop/spark100/recovery"
1 修改conf/spark-env.sh 文件
2 将修改后的文件拷贝到集群中的hadoop2,hadoop3
3 启动集群
4 启动一个spark-shell客户端并做部分操作后,然后用sbin/stop-master.sh杀死Master进程
做一些操作,比如定义两个变量:val a=2 val b=3 val c=a+b:
用sbin/stop-master.sh 杀死master:
杀死完后在客户端可以看到:
过段时间用sbin/start-master.sh启动master:
观察客户端和浏览器监控,发现spark-shell可以使用杀死master进程之前的变量c。
参考:http://mmicky.blog.163.com/blog/static/15029015420143191440337/