kafka集群原理设计（四）之 Controller 选举和 Partition 分配

kafka集群原理设计（四）之 Controller 选举和 Partition 分配

Kafka 集群中的 Controller 选举和 Partition 分配涉及 ZooKeeper 和 Kafka 两部分的协作。
ZooKeeper 负责协调和维护元数据，而 Kafka 负责具体的实现和业务逻辑。下面详细介绍启动过程
中的关键步骤，包括 ZooKeeper 如何触发 Controller 节点的创建，以及 Controller 如何实现
Partition 分配。

1. 启动过程和 Controller 选举

ZooKeeper 启动

当 ZooKeeper 启动时，每个 Kafka Broker 会连接到 ZooKeeper 并注册自身的信息。ZooKeeper
负责监控这些 Broker 的状态，并在 Controller 选举过程中起关键作用。

Kafka Broker 启动并注册

每个 Kafka Broker 启动时，会向 ZooKeeper 注册自身信息，并尝试创建 /controller 节点。

2. Controller 选举

创建 /controller 节点

在 Kafka 中，Controller 选举通过创建 ZooKeeper 的 /controller 节点实现。以下是 Kafka
源码中的关键部分：

// ControllerElection.scala
class ControllerElection(zooKeeperClient: KafkaZkClient) {
   
  def elect: Int = {
   
    val currentControllerId = getControllerId()
    if (currentControllerId == -1) {
   
      val newControllerId = electController()
      if (newControllerId != -1) {
   
        info(s"Successfully elected controller $newControllerId")
        newControllerId
      } else {
   
        error("Failed to elect controller")
        -1
      }
    }