转自 : https://i-blog.csdnimg.cn/blog_migrate/cb75b0c0e99c0f0b0d33eaa2a99ab7bd.png
Zookeeper在kafka中的应用
简介
Kafka使用zookeeper作为其分布式协调框架,很好的将消息生产、消息存储、消息消费的过程结合在一起。同时借助zookeeper,kafka能够生产者、消费者和broker在内的所以组件在无状态的情况下,建立起生产者和消费者的订阅关系,并实现生产者与消费者的负载均衡。
从拓扑结构看kafka与zookeeper的关系:
看看kafka的拓扑结构图
如上图所示,在典型的Kafka集群中, Kafka通过Zookeeper管理集群配置,选举leader,以及在Consumer Group发生变化时进行rebalance。Producer使用push模式将消息发布到broker,Consumer使用pull模式从broker订阅并消费消息.
broker在zookeeper中的注册
为了记录broker的注册信息,在zookeeper上,专门创建了属于kafka的一个节点,其路径为/brokers,如:
[zk: localhost:2181(CONNECTED) 1] ls /brokers [ids, topics] |
Kafka的每个broker启动时,都会到zookeeper中进行注册,告诉zookeeper其broker.id, 在整个集群中,broker.id应该全局唯一,并在zookeeper上创建其属于自己的节点,其节点路径为/brokers/ids/{broker.id}. 如:
[zk: localhost:2181(CONNECTED) 2] ls /brokers/ids [102, 103] |
创建完节点后,kafka会将该broker的broker.name及端口号记录到改节点,如
[zk: localhost:2181(CONNECTED) 4] get /brokers/ids/102 {"jmx_port":-1,"timestamp":"1433209686575","host":"host102","version":1,"port":9092} |
另外,改broker节点属性为临时节点,当broker会话失效时,zookeeper会删除该节点,这样,我们就可以很方便的监控到broker节点的变化,及时调整负载均衡等。
Topic在zookeeper中的注册
在kafka中,用户可以自定义多个topic,每个topic又可以划分为多个分区,一半情况下,每个分区存储在一个独立的broker上。所有这些topic与broker的对应关系都有zookeeper进行维护。
在zookeeper中,建立专门的节点来记录这些信息,其节点路径为/brokers/topics/{topic_name},如:
[zk: localhost:2181(CONNECTED) 6] ls /brokers/topics [toptic_t, test, my-replicated-topic, mykafka, mykafka6, mykafka5, mykafka4, test6, mykafka3, test7, mykafka2] |
[zk: localhost:2181(CONNECTED) 17] get /brokers/topics/mykafka4 {"version":1,"partitions":{"1":[102,103,104],"2":[103,104,102],"0":[104,102,103]}} |
针对topic 的每一个分区与broker的对应关系,zookeeper通过节点 /brokers/topics/topic.name来记录,如:
当broker启动时,会到对应topic节点下注册自己的broker.id到对应分区的isr列表中,如:
[zk: localhost:2181(CONNECTED) 23] get /brokers/topics/mykafka4/partitions/1/state {"controller_epoch":15,"leader":102,"version":1,"leader_epoch":2,"isr":[102,103,104]} |
同样的,当broker退出数,也会触发zookeeper更新其对应topic分区的isr列表,并决定是否需要做消费者的负载均衡。
consumer在zookeeper中的注册
l 注册新的消费者分组
当新的消费者组注册到zookeeper中时,zookeeper会创建专用的节点来保存相关信息,其节点路径为ls /consumers/{group_id},其节点下有三个子节点,分别为[ids, owners, offsets]。
Ø ids节点:记录该消费组中当前正在消费的消费者;
Ø owners节点:记录该消费组消费的topic信息;
Ø offsets节点:记录每个topic的每个分区的offset,如:
[zk: localhost:2181(CONNECTED) 54] get /consumers/test-consumer2-group/offsets/mykafka4/0 142 |
l 注册新的消费者
当新的消费者注册到kafka中时,会在/consumers/{group_id}/ids节点下创建临时子节点,并记录相关信息,如:
[zk: localhost:2181(CONNECTED) 57] ls /consumers/test-consumer2-group/ids/test-consumer2-group_dev103-1433562901087-7b517b97 [] [zk: localhost:2181(CONNECTED) 58] get /consumers/test-consumer2-group/ids/test-consumer2-group_dev103-1433562901087-7b517b97 {"version":1,"subscription":{"mykafka5":1},"pattern":"white_list","timestamp":"1433562901290"} |
l 监听消费者分组中消费者的变化
每个消费者都要关注其所属消费者组中消费者数目的变化,即监听/consumers/{group_id}/ids下子节点的变化。一单发现消费者新增或减少,就会触发消费者的负载均衡。