本文深入探讨了Kafka的系统架构，包括主题topic和分区partition的概念，以及Kafka的数据存储结构。Kafka通过topic进行数据分类，每个topic可划分为多个partition以实现负载均衡和提高吞吐量。每个partition有多个副本，以确保数据可靠性。Kafka的数据存储采用分片和索引机制，保证高效的消息定位。此外，文章还介绍了Kafka中的消息message的存储结构和格式。
系统的架构
主题topic和分区partition
-
topic
Kafka中存储数据的逻辑分类；你可以理解为数据库中“表”的概念；
比如，将app端日志、微信小程序端日志、业务库订单表数据分别放入不同的topic
-
partition分区（提升kafka吞吐量）
topic中数据的具体管理单元；（你可以理解为hbase中表的“region"概念）
- 每个partition由一个kafka broker服务器管理；
- 每个topic 可以划分为多个partition，分布到多个broker上管理；
- 每个partition都可以有多个副本；保证数据安全
分区对于 kafka 集群的好处是：实现topic数据的负载均衡。提高写入、读出的并发度，提高吞吐量。
-
分区副本replica
每个topic的每个partition都可以配置多个副本（replica），以提高数据的可靠性；
每个partition的所有副本中，必有一个leader副本，其他的就是follower副本&#
最低0.47元/天 解锁文章
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
