kafka 集群 Topic 之 Partion日志分段存储原理设计（五）

kafka 集群 Topic 之 Partion日志分段存储原理设计（五）

kafka 的 topic 中 partition 将消息存储在多个日志分段中，配置文件不是只配置了一个日志路径，
那kafka是如何实现分为多个日志分段文件的，并存储写入topic消息内容的？

Kafka 通过将消息日志分成多个分段文件（log segments）来管理每个 Partition 的存储。虽然 Kafka 在配置
文件中只指定了一个日志存储路径，但它会在该路径下根据需要自动创建和管理这些分段文件。以下是详细的实现原
理和操作流程。

1. 配置文件中的日志存储路径

在 Kafka 的配置文件（server.properties）中，日志存储路径通常通过以下配置项指定：

log.dirs=/var/lib/kafka/logs

这个配置项指定了 Kafka 存储日志文件的目录路径。

2. 日志分段文件的自动管理

Kafka 会在配置的日志存储路径下自动创建和管理日志分段文件。每个分段文件有固定的大小，当一个分段文件
达到指定大小后，Kafka 会自动创建一个新的分段文件来继续写入消息。

分段文件的命名规则

Kafka 通过文件名来管理和区分不同的分段文件。每个分段文件的文件名是该分段内第一个消息的偏移量。例如：

/var/lib/kafka/logs/my_topic-0/
  - 00000000000000000000.log
  - 00000000000000001000.log
  - 00000000000000002000.log

3. 核心代码示例和流程

日志分段管理

Kafka 在每个 Partition 的目录下管理多个分段文件。每个分段文件有固定的大小，当一个分段文件写满后，
Kafka 会创建一个新的分段文件。

// Log.scala
class Log(val dir: File, val config: LogConfig) {
   
    val segments = new LogSegments(dir)

    def append(records: MemoryRecords