浅谈大数据里的Kafka (5)Zookeeper在Kafka中的作用

本文探讨了Zookeeper在Kafka集群中的关键角色,主要负责Controller的选举和管理,以及Leader节点的选举和 ISR(In-Sync Replicas)维护。当Kafka的leader节点故障时,Zookeeper通过Controller进行ISR选择新的leader,确保数据的高可用性和一致性。

关于Controller:

 根据Kafka的数据可靠特性可以知道,Kafka的数据可靠性以及leader节点的选举需要靠Zookeeper维护。

 Kafka集群中有一个broker节点会被选举为Controller,负责管理集群broker的上下线,以及所有topic的分区副本分配和leader选举等工作。而Controller的管理工作都是依赖于Zookeeper

Zookeeper维护下的Kafka的Leader节点选举:

图一:
在这里插入图片描述

 根据图一可以知道,Zookeeper维护了Kafka集群的每个broker的id状况以及ISR,同时通过Kafka集群里的KafkaController进行监听,同时Zookeeper维护的是持久化目录节点,所以关闭与Zookeeper的连接节点不会被删除,并且如果需要关闭服务,需要先关闭Kafka再关闭Zookeeper。

图二:
图二

 图二里,如果leader节点broker0故障或者宕机,那么在Zookeeper节点里维护的brokers的id信息则会变化,KafkaController监听到id变化后便获取ISR。从ISR里选出一个节点作为新的leader节点,同时并更新ISR。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值