kafka与zookeeper:
一个典型的Kafka集群中包含若干Produce,若干broker(一般broker数量越多,集群吞吐率越高),若干Consumer Group,以及一个Zookeeper集群。Kafka通过Zookeeper管理集群配置,选举leader,以及在Consumer Group发生变化时进行rebalance。Producer使用push模式将消息发布到broker,Consumer使用pull模式从broker订阅并消费消息。

1)Producer端直接连接broker.list列表,从列表中返回TopicMetadataResponse,该Metadata包含Topic下每个partition leader建立socket连接并发送消息.
2)Broker端使用zookeeper用来注册broker信息,以及监控partition leader存活性.
3)Consumer端使用zookeeper用来注册consumer信息,其中包括consumer消费的partition列表等,同时也用来发现broker列表,并和partition leader建立socket连接,并获取消息。
Zoo

Kafka集群依赖Zookeeper进行配置管理、leader选举和Consumer Group的rebalance。Producer直接连接broker发布消息,Consumer通过Zookeeper发现broker并订阅消费。Zookeeper负责管理broker和consumer信息,包括partition leader的存活性、consumer消费的partition列表以及offset跟踪。
最低0.47元/天 解锁文章
1468

被折叠的 条评论
为什么被折叠?



