Kafka集群依赖Zookeeper进行集群配置管理、leader选举和Consumer Group的rebalance。Producer直接连接broker列表发送消息，而Broker在Zookeeper上注册信息以监控partition leader。Consumer在Zookeeper上注册消费信息，发现broker并进行负载均衡。Zookeeper负责管理broker、consumer及topic与broker的关系，同时跟踪consumer的offset。
kafka与zookeeper：
一个典型的Kafka集群中包含若干Produce，若干broker（一般broker数量越多，集群吞吐率越高），若干Consumer Group，以及一个Zookeeper集群。Kafka通过Zookeeper管理集群配置，选举leader，以及在Consumer Group发生变化时进行rebalance。Producer使用push模式将消息发布
1)Producer端直接连接broker.list列表,从列表中返回TopicMetadataResponse,该Metadata包含Topic下每个partition leader，建立socket连接并发送消息.
2)Broker端使用zookeeper用来注册broker信息,以及监控partition leader存活性.
3)Consumer端使用zookeeper用来注册consumer信息,其中包括consumer消费的partition列表等,同时也用来发现broker列表,并和partition leader建立socket连接,并获取消息。
Zookeeper作用：管理broker、consumer
创建Broker后，向zookeeper注册新的broker信息，实现在服务器正常运行下的水平拓展。具体的，通过注册watcher，获取partition的信息。
Topic的注册，zookeeper会维护topic与broker的关系
最低0.47元/天 解锁文章
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
