kafka 架构分析

LD is tigger forever，CG are not brothers forever， throw the pot and shine forever.
Modesty is not false, solid is not naive, treacherous but not deceitful, stay with good people, and stay away from poor people.
talk is cheap, show others the code,Keep progress，make a better result.
Survive during the day and develop at night。

目录

概述

3 台 Broker 。
两个 Topic : Topic0 和 Topic1 。
Topic0 有 2 个分区：partition0 和 partition1 ，每个分区一共 3 个副本。
Topic1 只有 1 个分区：partition0 ，每个分区一共 3 个副本。
图中红色字体的副本代表是 Ieader ，黑色字体的副本代表是 follower 。
绿色的线代表是数据同步。蓝色的线是写消息，橙色的线是读消息，都是针对 leader 节点。

有两个消费者组的两个分区。
第 1 个消费者，消费 topic0 的 partition0 ，还消费 topic1 的 partition0 。
第 2 个消费者，消费 topic0 的 partition1。
第 3 个消费者，没有 partition 可以消费。
第一个消费者组，消费了 topic0 的两个分区。
第二个消费者组，既消费 topic0 ，又消费 topic1 :

Broker

只支持一种消费模式poll

支持一次性获取多条（参数传入数目）
Topic
opic 分区扩展，增强并发访问能力

副本同步主节点数据，但是不允许读 follow 节点，避免读写不一致的问题，降低延迟。

*.index 索引文件
*.index 索引文件
*.log 数据文件
*.timeindex 时间戳索引文件

数据分段（针对文件过大，超出 1G）
消费组数目小于等于 Topic 数目
消费者可以消费者可以消费多个分区
消费多个分区

连续消费
切换消费者
consumer_offset-[0~49] 保存消费者消费的偏移量

业务场景：
业务场景：数据同步存储到 mysql、ES

小结：

参考资料和推荐阅读

1.链接: 参考资料.