Kafka学习笔记（八）—Kafka在Zookeeper中的存储结构

Kafka元数据信息

当kafka启动的时候，就会向zookeeper里面注册一些信息，这些数据也称为Kafka的元数据信息

Kafka 主要使用 ZooKeeper 来保存它的元数据、监控 Broker 和分区的存活状态，并利用 ZooKeeper 来进行选举，每一个 Broker 中都会缓存一份元数据信息，这主要是因为客户端并不会直接和 ZooKeeper 来通信，而是在需要的时候，通过 RPC 请求去 Broker 上拉取它关心的主题的元数据，然后保存到客户端的元数据缓存中，以便支撑客户端生产和消费。

根目录结构：
[isr_change_notification， zookeeper， admin， consumers，cluster， config，latest_producer_id_block，controller， brokers，controller_epoch]

1. broker 在 ZooKeeper 中的注册

• 路径：/brokers/ids/[0…N]
• Kafka 的每个 broker 启动时，都会到 ZooKeeper 中进行注册节点，告诉 ZooKeeper 其 broker.id，在整个集群中，broker.id 应该全局唯一
• 该节点为一个临时节点，当broker断开和zookeeper的连接时，其临时节点将会被删除，这样就可以很方便的监控到broker 节点的变化，及时调整负载均衡等

znode信息：

{
"jmx_port": jmx端口号,
"timestamp": kafka broker初始启动时的时间戳,
"host": 主机名或ip地址,
"version": 版本编号默认为1,
"port": kafka broker的服务端端口号,由server.properties中参数port确定
}

2. Topic 在 ZooKeeper 中的注册

• 路径：//broker/topics/[topic]
• 主要是存储某个topic的partitions所有分配信息

znode信息：

{
    "version": "版本编号目前固定为数字1",
    "partitions": {
        "partitionId编号": [
            同步副本组brokerId列表
        ],
        "partitionId编号": [
            同步副本组brokerId列表
        ],
        .......
    }
}

3. Partition在Zookeeper中的注册

• 路径：/brokers/topics/[topic]/partitions/[0…N]
• 存储topic与partition对应关系
• 每个分区节点下面是一个名为 state 的临时节点，节点中保存着分区当前的 leader 和所有的 ISR 的 BrokerID

znode信息：

{
"controller_epoch": 表示kafka集群中的中央控制器选举次数,
"leader": 表示该partition选举leader的brokerId,
"version": 版本编号默认为1,
"leader_epoch": 该partition leader选举次数,
"isr": [同步副本组brokerId列表]
}

4. Consumer 在 ZooKeeper 中的注册

• 路径：/consumers/[groupId]/ids/[consumer_id]
• consumers 在启动时会到 ZooKeeper 下以自己的 conusmer-id 创建临时节点 ，并对其注册监听事件，一旦发现消费者新增或减少，就会触发消费者的重平衡
• 每个consumer都有一个唯一的ID(consumerId可以通过配置文件指定,也可以由系统生成)，此id用来标记消费者信息

znode信息：

{
"version": 版本编号默认为1,
"subscription": { //订阅topic列表
"topic名称": consumer中topic消费者线程数
},
"pattern": "static",
"timestamp": "consumer启动时的时间戳"
}

5. Controller注册信息

• 路径：/controller
• 存储leader broker即控制器信息，每次broker选举新的leader都会将相关信息写入这里

znode信息：

{
"version": 版本编号默认为1,
"brokerid": kafka集群中broker唯一编号,
"timestamp": kafka broker中央控制器变更时的时间戳
}

6. Controller epoch

• 路径：/controller_epoch
• 此值为一个数字,kafka集群中第一个broker第一次启动时为1，以后只要集群中center controller中央控制器所在broker变更或挂掉，就会重新选举新的center controller，每次center controller变更controller_epoch值就会 + 1

7. 删除topics

• 路径：/admin/delete_topics
• 删除topic会在Zookeeper中创建子节点

znode信息：

{ "fields":
    [ {"name": "version", "type": "int", "doc": "version id"},
      {"name": "topics",
       "type": { "type": "array", "items": "string", "doc": "an array of topics to be deleted"}
      } ]
}