控制器
在 Kafka 集群中会有一个或多个 broker, 其中有一个 broker 会被选举为控制器 (kafka Controller), 它负责管理整个集群中所有分区和副本的状态。当某个分区的 leader 副本出现故障时,由控制器负责为该分区选举新的 leader 副本。
当检测到某个分区的 ISR 集合发生变化时,由控制器负责通知所有 broker 更新其元数据的信息。
在任意时刻,集群中有且仅有一个控制器。每个 broker 启动时都会去尝试读取 /controller 节点的 brokerid 的值,如果读取到 brokerid 的值不为 -1,则表示已经有其他 broker 节点成功竞选为控制器,所以当前 broker 会放弃竞选。只有创建节点成功的 broker 才会成为控制器。每个 broker 都会在内存中保存当前控制器的 brokerid 值。
分区leader 的选举
分区 leader 副本的选举,由控制器负责具体实施。
当创建分区或分区上线时,都需要执行 leader 的选举动作。
资料来源:
《Kafka权威指南》
《深入理解Kafka:核心设计与实践原理》