Flink JobManager的HA原理分析

前言

---

在中心式管理的系统里，主节点如果只是单独服务部署的话，或多或少都会存在单点瓶颈（SPOF）问题。所以我们说现在的分布式系统都要求具有高可用性（High Availability）的实现。同样的，在早期Flink runtime层面，JobManager也没有完全做到HA的实现，这使得运行时的任务存在失败无法及时恢复的风险。不过在最新的代码里，Flink社区已经完善了这块的实现。本文，笔者简单来聊聊Flink JobManager的HA的原理。

JobManager的HA切换通知

---

笔者在对比了HDFS的HA实现和Flink JobManager的实现后，两者在部分实现上还是存在差异的，并不是说只是主从切换这样简单的过程。以下是几区分点：

HDFS的HA切换，主要保证的是数据请求处理的正常服务。而Flink要让所有的失败任务能够快速恢复。我们可以从更高层面来理解这样的差异：一个是存储系统的HA实现，一个是计算框架的HA实现。

所以FlinkJobMnager在服务发