kafka架构

最新推荐文章于 2024-07-17 17:32:58 发布

fldjsaldkfjoeiaf

最新推荐文章于 2024-07-17 17:32:58 发布

阅读量502

点赞数

分类专栏： kafka 文章标签： kafka 架构 java

本文链接：https://blog.csdn.net/cwg1992/article/details/121144816

版权

本文介绍了Kafka的架构，包括Producer、kafka cluster、Broker、Topic、Partition、Replication和ConsumerGroup等核心概念。讲解了分区策略、副本管理和消费者消费位置的Offset。还提到了Zookeeper在Kafka中的角色，如Broker注册、Topic注册、消费者与分区的关系以及消息消费进度的记录。最后讨论了Zookeeper在新版本Kafka中的地位变化。

摘要由CSDN通过智能技术生成

在这里插入图片描述
Producer：Producer即生产者，消息的产生者，是消息的入口。
kafka cluster： kafka集群
　　　　Broker：Broker是kafka实例，kafka集群的一个节点，每个服务器上有一个或多个kafka的实例，我们姑且认为每个broker对应一台服务器。每个kafka集群内的broker都有一个不重复的编号，如图中的broker-0、broker-1等……
　　　　Topic：可以理解为一个队列，Topic将消息分类，生产者和消费者面向的是同一个Topic，kafka的数据就保存在topic下的partition里。在每个broker上都可以创建多个topic
　　　　Partition：Topic的分区，每个topic可以有多个分区，分区的作用是做负载，提高kafka的吞吐量。为了实现扩展性，提高并发能力，一个Topic以多个Partition的方式分布到多个Broker上，每个Partition是一个有序的队列。一个Topic的每个Partition都有若干个副本（Replica），一个Leader和若干个Follower。生产者发送数据的对象，以及消费者消费数据的对象，都是Leader。Follower负责实时从Leader中同步数据，保持和Leader数据的同步。Leader发生故障时，某个Follower还会成为新的Leader。同一个topic在不同的分区的数据是不重复的，partition的表现形式就是一个一个的文件夹！