本文详细介绍了如何配置基于Zookeeper的Spark高可用（HA）设置，确保在主节点故障时能进行平滑切换。在Spark 1.6.0版本中，通过Zookeeper实现主节点选举和集群状态存储，避免了应用启动的延迟问题。文章还提到了配置步骤，包括修改spark-env.sh文件，并给出了启动和切换Master节点的示例。
默认情况下在Spark standalone集群中进行计算时，由于是RDD的计算模型，所以可以认为worker 已经是有HA特性的了，但是负责资源调度的Master节点有可能出现单点故障。所以为了保证环境的稳定，还是需要配置HA功能。
官方文档中提供了两种HA的机制
- 基于Zookeeper：利用ZooKeeper来提供主节点选举和集群状态的存储，可以在集群中运行多个连接到同一个Zookeeper集群的Master节点。其中一个将被选为“Leador”和其他的节点将会是Standby模式。如果当前的Leador挂了，会通过选举产生一个新的Leador。
请注意，对于新运行的应用 -延迟可能会有1-2分钟，对于已经运行的应用不会受到影响。 - 基于文件系统：将状态数据存在目录文件中，当主节点挂掉后，通过重启来解决问题。由于stop-master.sh方式停止Master节点是，不会将对应的数据删除，所以时间长了，可能会影响到启动速度
- 官方原文：http://spark.apache.org/docs/1.6.0/spark-standalo
最低0.47元/天 解锁文章
扫一扫
592
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
