Kafka新建的分区会在哪个目录下创建？

最新推荐文章于 2024-07-19 08:55:40 发布

四猿外

最新推荐文章于 2024-07-19 08:55:40 发布

阅读量265

点赞数

本文链接：https://blog.csdn.net/siyuanwai/article/details/119538009

版权

在启动Kafka集群前，需设置log.dirs参数指定数据存放目录，可配置多个目录以提高性能。若配置多个目录，Kafka会优先在分区最少的目录创建新分区，依据的是分区目录数量而非磁盘使用量。新增磁盘时，新分区将首先在此磁盘上创建直至其分区数量不再最少。

摘要由CSDN通过智能技术生成

在启动 Kafka 集群之前，我们需要配置好 log.dirs 参数，其值是 Kafka 数据的存放目录，这个参数可以配置多个目录，目录之间使用逗号分隔，通常这些目录是分布在不同的磁盘上用于提高读写性能。

当然我们也可以配置 log.dir 参数，含义一样。只需要设置其中一个即可。

如果 log.dirs 参数只配置了一个目录，那么分配到各个 Broker 上的分区肯定只能在这个目录下创建文件夹用于存放数据。

但是如果 log.dirs 参数配置了多个目录，那么 Kafka 会在哪个文件夹中创建分区目录呢？答案是：Kafka 会在含有分区目录最少的文件夹中创建新的分区目录，分区目录名为 Topic名+分区ID。注意，是分区文件夹总数最少的目录，而不是磁盘使用量最少的目录！也就是说，如果你给 log.dirs 参数新增了一个新的磁盘，新的分区目录肯定是先在这个新的磁盘上创建直到这个新的磁盘目录拥有的分区目录不是最少为止。