大数据技术之kafka (第 3 章 Kafka 架构深入) Zookeeper 在 Kafka 中的作用

ywl470812087

已于 2022-02-20 15:26:25 修改

阅读量10w+

点赞数 6

分类专栏： kafka 文章标签： kafka

于 2020-04-07 22:16:50 首次发布

本文链接：https://blog.csdn.net/ywl470812087/article/details/105375406

版权

本文深入探讨Kafka架构，重点讲解Controller的角色及其如何借助Zookeeper进行Leader选举。当Kafka集群中的Broker发生变化时，Zookeeper如何协调新的Leader选举过程。

摘要由CSDN通过智能技术生成

Kafka 集群中有一个 broker 会被选举为 Controller，负责管理集群 broker 的上下线，所有 topic 的分区副本分配和 leader 选举等工作。

Controller 的管理工作都是依赖于 Zookeeper 的。
以下为 partition 的 leader 选举过程：

Leader选举流程

我们试试当这个主节点挂了，谁会被抢到（目前这个brokers/ids/ 有0 1 2三个节点）

我们启动zk客户端

[root@backup01 bin]# ./zkCli.sh
Connecting to localhost:2181
2020-04-19 16:05:13,799 [myid:] - INFO  [main:Environment@100] - Client environment:zookeeper.version=3.4.13-2d71af4dbe22557fda74f9a9b4309b15a7487f03, built on 06/29/2018 04:05 GMT
2020-04-19 16:05:13,815 [myid:] - INFO  [main:Environment@100] - Client environment:host.name=backup01
2020-04-19 16:05:13,815 [myid:] - INFO  [main:Environment@100] - Client environment:java.version=1.8.0_172
2020