Apache Kafka笔记（二）：Topics,Partitions and Brokers

最新推荐文章于 2023-11-26 11:00:48 发布

海底漫步

最新推荐文章于 2023-11-26 11:00:48 发布

阅读量7k

点赞数 5

分类专栏： kafka 文章标签： apache kafka

本文链接：https://blog.csdn.net/baidu_29066791/article/details/54707126

版权

本文详细介绍了Apache Kafka的Topic、Partition和Replication Factor。Topic是消息分类的逻辑概念，存储为日志形式。Partition是Topic的最小逻辑单元，每个Partition必须在单个Broker上完整存储。Replication Factor用于冗余消息，提高容错性。过多的Partition可能导致Zookeeper成为性能瓶颈，而过多的复制会占用更多磁盘空间。

摘要由CSDN通过智能技术生成

Kafka Topic

　　上篇笔记提到，Topic是消息的目录，用于分类消息的逻辑上的概念，在物理上，它的存储表现为日志(log)形式。
　　这里写图片描述
　　Producer指定消息发布到指定Topic，一个Topic可能由多个Broker维持，并且同一个Broker可能维持多个Topic，Consumer根据订阅的Topic到对应的Broker上去读取数据。这里可能会有疑问，Topic和具体的Broker之间的对应关系怎么维护？读写请求如何转发到具体Broker上去？下文关于Partitions会描述整个订阅发布过程。
　　这里写图片描述
　　Producer每发送一个消息都会追加到Topic队列的最后，按照时间排序，不能插队，也不能修改之前的消息，一个Topic可以同时被多个Consumer同时消费，并且可以重复消费。
　　