Kafka 是⼀种⾼吞吐量、分布式、基于发布/订阅的消息系统,最初由 LinkedIn 公司开发,使⽤Scala 语⾔编写,⽬前是 Apache 的开源项⽬。
broker:Kafka 服务器,负责消息存储和转发topic:消息类别, Kafka 按照 topic 来分类消息partition:topic 的分区,⼀个 topic 可以包含多个 partition, topic 消息保存在各个partition 上offset:消息在⽇志中的位置,可以理解是消息在 partition 上的偏移量,也是代表该消息的唯⼀序号
Producer:消息⽣产者
Consumer:消息消费者
Consumer Group:消费者分组,每个 Consumer 必须属于⼀个 group
Zookeeper:保存着集群 broker、 topic、 partition 等meta 数据;另外,还负责 broker 故障发现, partition leader 选举,负载均衡等功能
🚀 Kafka 终极解析:分布式消息系统的核心架构与运作机制
用「报纸出版系统」类比Kafka的核心概念,结合架构图和关键配置,让你彻底掌握这一高吞吐消息系统的设计精髓。