kafka 集群原理设计(四)之 Controller 选举和 Partition 分配
Kafka 集群中的 Controller 选举和 Partition 分配涉及 ZooKeeper 和 Kafka 两部分的协作。
ZooKeeper 负责协调和维护元数据,而 Kafka 负责具体的实现和业务逻辑。下面详细介绍启动过程
中的关键步骤,包括 ZooKeeper 如何触发 Controller 节点的创建,以及 Controller 如何实现
Partition 分配。
1. 启动过程和 Controller 选举
ZooKeeper 启动
当 ZooKeeper 启动时,每个 Kafka Broker 会连接到 ZooKeeper 并注册自身的信息。ZooKeeper
负责监控这些 Broker 的状态,并在 Controller 选举过程中起关键作用。
Kafka Broker 启动并注册
每个 Kafka Broker 启动时,会向 ZooKeeper 注册自身信息,并尝试创建 /controller
节点。
2. Controller 选举
创建 /controller
节点
在 Kafka 中,Controller 选举通过创建 ZooKeeper 的 /controller
节点实现。以下是 Kafka
源码中的关键部分:
// ControllerElection.scala
class ControllerElection(zooKeeperClient: KafkaZkClient) {
def elect: Int = {
val currentControllerId = getControllerId()
if (currentControllerId == -1) {
val newControllerId = electController()
if (newControllerId != -1) {
info(s"Successfully elected controller $newControllerId")
newControllerId
} else {
error("Failed to elect controller")
-1
}
}