带你深度剖析Kafka架构知识点

最新推荐文章于 2024-09-12 20:02:08 发布

Blue92120

最新推荐文章于 2024-09-12 20:02:08 发布

阅读量5.8k

点赞数

文章标签： kafka 系统架构

本文链接：https://blog.csdn.net/Blue92120/article/details/123705261

版权

本文详细解析Kafka的架构，涵盖数据处理、核心组件、broker集群、Consumer与topic的关系以及消息分发和Consumer的负载均衡。讨论了Producer、Consumer、Topic、Broker的角色，以及Zookeeper在Kafka中的作用。解释了Kafka如何保证消息顺序和消费者组内的消息消费策略。

摘要由CSDN通过智能技术生成

带你深度剖析Kafka架构知识点，学习了解Kafka数据处理、Kafka 核心组件、broker和集群、Consumer与topic关系、Kafka消息的分发、Consumer的负载均衡开发技术。

1. Kafka数据处理步骤
1.1 Producer产生消息发送到Broker中；
1.2 Leader状态的Broker接收消息，写入到相应topic中；
1.3 Leader状态的Broker接收完毕以后，传给Follow状态的Broker作为副本备份；
1.4 Consumer消费Broker中的消息。

2. Kafka 核心组件
2.1 Producer：消息生产者产生的消息将会被发送到某个topic；
2.2 Consumer：消息消费者，消费的消息内容来自某个topic；
2.3 Topic：消息根据topic进行归类，topic其本质是一个目录，即将同一主题消息归类到同一个目录；
2.4 Broker：每一个kafka实例（或者说每台kafka服务器节点）就是一个broker，一个broker可以有多个topic；
2.5 Zookeeper： Zookeeper集群不属于kafka内的组件，但kafka依赖 Zookeeper集群保存meta信息，所以在此做声明其重要性。

3. broker和集群