Spark1.3.1 Standalone 基于文件系统的 HA 部署

基于文件系统的 HA

spark.deploy.recoveryMode设成 FILESYSTEM

spark.deploy.recoveryDirectory  Spark保存恢复状态的目录

Spark-env.sh 里对 SPARK_DAEMON_JAVA_OPTS 设置

export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=FILESYSTEM -Dspark.deploy.recoveryDirectory=/app/hadoop/spark100/recovery"

1 修改conf/spark-env.sh 文件

2 将修改后的文件拷贝到集群中的hadoop2，hadoop3

3 启动集群

4 启动一个spark-shell客户端并做部分操作后，然后用sbin/stop-master.sh杀死Master进程

做一些操作，比如定义两个变量：val a=2  val b=3 val c=a+b:

用sbin/stop-master.sh 杀死master：

杀死完后在客户端可以看到：

过段时间用sbin/start-master.sh启动master：

观察客户端和浏览器监控，发现spark-shell可以使用杀死master进程之前的变量c。

参考：http://mmicky.blog.163.com/blog/static/15029015420143191440337/