spark从入门到放弃十五:master 主备切换_spark master可以混部吗-CSDN博客

本文链接：https://blog.csdn.net/u012957549/article/details/79603268

本文介绍了Spark集群中Master的主备切换机制，包括基于文件系统和Zookeeper的两种方式。详细阐述了从StandByMaster变为ActiveMaster的过程，以及如何通过持久化引擎恢复集群状态。

摘要由CSDN通过智能技术生成

文章地址：http://www.haha174.top/article/details/254300
Master实际上可以配置两个，那么Spark原生的standalone模式是支持Master主备切换的。也就是说，当Active Master节点挂掉时，可以将StandBy master节点切换为Active Master。

Spark Master主备切换可以基于两种机制，一种是基于文件系统的，一种是基于Zookeeper的。基于文件系统的主备切换机制，需要在Active Master挂掉之后，由我们手动切换到StandBy Master上；而基于Zookeeper的主备切换机制，可以自动实现切换Master。

所以这里说的主备切换机制，实际上指的是在Active Master挂掉之后，切换到StandBy Master时，Master会执行的操作。

首先，StandBy Master会使用持久化引擎去读取持久化的storedApps，storedDrivers，storedWorkers。持久化引擎有两种：

FileSystemPersistenceEngine和ZookeeperPersistentEngine。读取出来后，会进行判断，如果storedApps，storedDrivers，storedWorkers有任何一个是非空的，继续向下执行，去启动master恢复机制，将持久化的Application，Driver，Worker信息重新进行注册，注册到Master内部的缓存结构中。注册完之后，将Application和Worker的状态修改为UNKNOWN，然后向Application所对应的Driver，以及Worker发送StandBy Master的地址。Driver和Worker，理论上来说，如果它们目前都在正常运行的话，那么在接收到Master发送来的地址之后，就会返回相应消息给新的Master。此时，Master在陆续接收到Driver和Worker发送来的响应消息后，会使用completeRecovery()方法对没有发送响应消息的Driver和Worker进行处理，过滤掉它们的信息。最后，调用Master自己的schedule()方法，对正在等待资源调度的Driver和Application进行调度，比如在某个worker上启动Driver，或者为Application在Worker上启动它需要的Executor。

图解：
这里写图片描述