zookeeper与kafka的选举算法

最新推荐文章于 2024-07-27 23:42:10 发布

置顶

wander_sky

最新推荐文章于 2024-07-27 23:42:10 发布

阅读量8.1k

点赞数 1

分类专栏：架构 kafka zookeeper 文章标签： zookeeper zk

本文链接：https://blog.csdn.net/yu280265067/article/details/62868969

版权

本文探讨了Zookeeper的选举算法，包括Phase 0的选举阶段、Phase 1的发现阶段和Phase 2的同步阶段，强调了其保证分布式一致性的设计。接着介绍了Kafka的选举算法，焦点在于ISR（In-Sync Replicas）集合，确保高一致性。当Kafka集群中leader失效时，直接从ISR中选择新的leader，权衡可用性和连续性。

摘要由CSDN通过智能技术生成

学习kafka的过程中发现了Kafka 的选举算法的独到之处，这里通过与zk的选举的对比，回顾一下zk的知识，同时也入门一下kafka的知识。

zookeeper 的选举算法：

Phase 0: Leader election（选举阶段）
节点在一开始都处于选举阶段，只要有一个节点得到超半数节点的票数，它就可以当选准 leader。只有到达 Phase 3 准 leader 才会成为真正的 leader。这一阶段的目的是就是为了选出一个准 leader，然后进入下一个阶段。
协议并没有规定详细的选举算法，默认使用的 Fast Leader Election。
Phase 1: Discovery（发现阶段）
在这个阶段，followers 跟准 leader 进行通信，同步 followers 最近接收的事务提议。这个一阶段的主要是三个目的：
1.是发现当前大多数节点接收的最新提议，并且准 leader 生成新的 epoch，让 followers 接受，更新它们的 acceptedEpoch。
2.当Follower 接受到来自准Leader 的 newEpoch 消息后，会检查当前的epoch 是否小于newEpoch，如果是就会重新赋值自己的epoch，并且向leader反馈当前的Follower 的epoch，以及钙Follower的历史事务集合。
3.准 leader 接受到来自过半Follower的确认消息ack之后，准leader 就会从这些过半的服务器中选取一个Follower 集合，并使用该集合作为初始化集合，这个集合满足的最大epoch 与 zxid 都是所有集合中最大的（这一步骤最重要，用于同步