1.Kafka介绍

1.关于Kafka

Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费组在网站中的所有动作流数据。这种动作(网页浏览，搜索，注册、订单和其它用户的行动)是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求，通过处理日志和日志聚合来解决。
提到Kafka(2.8+版本之前，需使用Zookeeper)，就不得不说Zookeeper，Zookeeper是一款为解决分布式一致性问题的工具，Kafka消息队列需要使用Zookeeper。在分布式应用架构中(去中心化集群模式)，需要让消费者知道现在有哪些生产者(对于消费者而言，Kafka就是生产者)是可用的。如果没了ZK，消费者如何知道呢？如果每次消费者在消费之前都去尝试连接生产者测试一下是否连接成功，效率就会变得很低。
Kafka使用ZK的分布式协调服务，将生产者，消费者，消息存储(broker,消息读写等)结合在一起。同时借助ZK，Kafka能够将生产者，消费者和broker在内的所有组件在无状态的条件下建立起生产者和消费者的订阅关系，实现生产者的负载均衡。

2.传统Kafka和Zookeeper的关系

元数据管理：存储和维护Kafka集群的元数据(如Broker列表、Topic配置信息)。
分区分配：为消费者分配分区。
Leader 选举：管理Kafka中每个分区的Leader副本。
集群协调：确保Kafka集群中的所有Broker和节点的状态一致。

3.Kafka 的新架构(基于KRaft模式)

从 Kafka 2.8 开始，Kafka引入了KRaft(Kafka Raft)架构࿰