关于Controller:
根据Kafka的数据可靠特性可以知道,Kafka的数据可靠性以及leader节点的选举需要靠Zookeeper维护。
Kafka集群中有一个broker节点会被选举为Controller,负责管理集群broker的上下线,以及所有topic的分区副本分配和leader选举等工作。而Controller的管理工作都是依赖于Zookeeper。
Zookeeper维护下的Kafka的Leader节点选举:
图一:

根据图一可以知道,Zookeeper维护了Kafka集群的每个broker的id状况以及ISR,同时通过Kafka集群里的KafkaController进行监听,同时Zookeeper维护的是持久化目录节点,所以关闭与Zookeeper的连接节点不会被删除,并且如果需要关闭服务,需要先关闭Kafka再关闭Zookeeper。
图二:

图二里,如果leader节点broker0故障或者宕机,那么在Zookeeper节点里维护的brokers的id信息则会变化,KafkaController监听到id变化后便获取ISR。从ISR里选出一个节点作为新的leader节点,同时并更新ISR。

本文探讨了Zookeeper在Kafka集群中的关键角色,主要负责Controller的选举和管理,以及Leader节点的选举和 ISR(In-Sync Replicas)维护。当Kafka的leader节点故障时,Zookeeper通过Controller进行ISR选择新的leader,确保数据的高可用性和一致性。
最低0.47元/天 解锁文章
2万+

被折叠的 条评论
为什么被折叠?



