Kafka controller

1  controller broker选举.

  kafka所有的broker都会在zookeeper注册。但是同一时刻只会存在一个controller. 其它的叫fellow。

通过zookeeper 的 get /controller可以获取controller信息。

 

 2 controller作用:

2.1 controller会监听zookeeper上元数据信息的变化,并将元数据信息同步到所有follower上。 每个broker都会保存独立的元数据信息在内存。

 

       producer写数据时,我们有个参数bootstraper, 可以填任意个节点。  原因是每个节点都有独立的元数据信息。

2.2 监控所有其它的broker

   如果其中一个挂了,会将该broker下所有分区的副本重新选择一个leader, 由该leader进行读写操作。(注意:副本在kafka信息中,以broker编号的形式体现)

 

 

参考:kafka写入源码过程 https://www.jianshu.com/p/afb2c314fee0

Kafka ControllerKafka 集群中的一个特殊角色,它具有以下主要作用: 1. 集群管理:Kafka Controller 负责管理整个 Kafka 集群的状态和元数据信息。它负责监控和维护集群中的 Broker、Topic、分区等信息,并确保集群的正常运行。如果有新的 Broker 加入或退出集群,Controller 将负责处理相关的操作和任务。 2. 分区分配:当创建新的 Topic 或者增加了 Topic 的分区数时,Kafka Controller 负责计算和执行分区的分配方案。它会根据配置的分区分配策略(如默认的 Range、RoundRobin 或自定义策略),将分区均匀地分配给各个 Broker 和消费者组,以实现负载均衡和高可用性。 3. Leader 选举:每个分区在 Kafka 集群中都有一个 Leader Broker,负责处理该分区的所有读写请求。当 Leader Broker 发生故障或不可用时,Controller 将负责进行 Leader 选举,选择新的 Leader Broker 来接管该分区的工作。通过 Leader 选举,可以保证分区在发生故障时仍然能够继续提供服务。 4. 副本管理:Kafka 使用副本来提供数据冗余和故障容错能力。Controller 负责管理副本的创建、同步和分布等操作。它会监控副本的状态,并在副本发生故障或不可用时进行恢复和修复,以保证数据的可靠性和一致性。 总的来说,Kafka ControllerKafka 集群中的核心组件之一,负责管理和维护集群的状态、元数据和各种任务。它通过协调和执行各种操作,确保 Kafka 集群的正常运行、数据的可靠性和高可用性。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值