极简单系列-kafka 存储

每个 partition 对应于一个 log 文件，该 log 文件中存储的就是 producer 生产的数据。Producer 生产的数据会被不断追加到该log 文件末端，且每条数据都有自己的 offset。
消费者组中的每个消费者，都会实时记录自己消费到了哪个 offset，以便出错恢复时，从上次的位置继续消费。

---

存储的设计

由于生产者生产的消息会不断追加到 log 文件末尾，为防止 log 文件过大导致数据定位
效率低下，Kafka 采取了分片和索引机制，将每个 partition 分为多个 segment。每个 segment。对应两个文件——“.index”文件和“.log”文件。这些文件位于一个文件夹下，该文件夹的命名。规则为：topic 名称+分区序号。例如，first 这个 topic 有三个分区，则其对应的文件夹为 first0,first-1,first-2。

index 和 log 文件以当前 segment 的第一条消息的 offset 命名

查找某个offser 对应的消息体内容 先通过二分查找的方式 logn 找到对应的index

（需要注意一点 topic 只能增 不能减）

---

查找

Index 存储的是文件起始偏移量的位置以及文件大小

当我知道了文件的歧视位置和终止位置 那么就很快可以直接找到对应文件。