Kafka 基于文件时间和基于文件大小的日志留存策略说明

最新推荐文章于 2024-06-01 07:30:00 发布

MichaelLee826

最新推荐文章于 2024-06-01 07:30:00 发布

阅读量1.5k

点赞数

分类专栏：大数据教程文章标签：大数据 Kafka

本文链接：https://blog.csdn.net/michael_f2008/article/details/116596301

版权

教程同时被 2 个专栏收录

14 篇文章 0 订阅

订阅专栏

大数据

8 篇文章 0 订阅

订阅专栏

说明：

所用的Kafka版本为：kafka_2.12-1.1.0；
本文中所谈及的“日志”是指Kafka的数据缓存；
本文中所有的配置项，均位于kafka_2.12-1.1.0/config/server.properties文件中；
为描述方便，假设：log.dirs=/data/kafka-logs，即日志文件保存在/data/kafka-logs路径下；有一个topic名称为test001，partition为3。

1.Kafka日志留存类型

目前，Kafka的日志留存类型有2种：

delete
compact

本文只涉及delete机制。

2. Kafka日志留存机制

目前，Kafka的日志留存机制一共有3种：

基于空间维度
基于时间维度
基于起始位移维度

本文只涉及前2种机制。

3.基于文件时间的日志留存策略

可配置的参数如下：

数据留存时间（7天）：log.retention.hours=168
检查间隔时间（5分钟）：log.retention.check.interval.ms=300000
每个日志文件大小（1GB）：log.segment.bytes=1073741824
执行实际删除操作的间隔时间（15秒）：log.cleaner.backoff.ms=15000

以上的配置，是针对所有topic的每一个partition，即全局设置。也可以针对个别的topic进行单独设置，本文不作介绍。以上配置的作用如下：

在/data/kafka-logs/test001-0路径下，会有多个后缀为.log的日志文件，且大小都为1GB（除最新的日志文件外）

有一个程序，每5分钟会检查一次是否有日志文件的“最大时间戳”与当前时间的差值超过了7天，如果有，则将这个日志文件的后缀加上.delete

还有一个程序，每15秒会检查一次是否有标记为.delete的日志文件，如果有，则执行删除操作

4.基于文件大小的日志留存策略

可配置的参数如下：

文件所占空间的阈值（2GB）：log.retention.bytes=2147483648
检查间隔时间（5分钟）：log.retention.check.interval.ms=300000
每个日志文件大小（1GB）：log.segment.bytes=1073741824
执行实际删除操作的间隔时间（15秒）：log.cleaner.backoff.ms=15000

以上的配置，是针对所有topic的每一个partition，即全局设置。也可以针对个别的topic进行单独设置，本文不作介绍。以上配置的作用如下：

在/data/kafka-logs/test001-0路径下，会有多个后缀为.log的日志文件，且大小都为1GB（除最新的日志文件外）

有一个程序，每5分钟会统计一次当前路径下所有日志文件大小，如果总大小超过阈值（2GB）的部分多于一个日志文件的大小（1GB），则将最早的日志文件的后缀加上.delete

还有一个程序，每15秒会检查一次是否有标记为.delete的日志文件，如果有，则执行删除操作

举个例子：
日志文件大小为1GB，当前路径下(/data/kafka-logs/test001-0)有3个日志文件，分别为1GB、1GB、100MB，显然100MB的日志文件为系统正在使用的。此时，若第一个程序开始统计，则总大小为2GB+100MB，由于阈值设为2GB，则超过阈值的部分为100MB，而100MB小于1GB（单个日志文件的大小），所以此时不会有任何文件被标记为.delete，也不会有任何文件被删除。
以此类推，在第3个日志文件达到1GB之前，都是这种情况。
当第3个日志文件达到1GB，并开始写第4个日志文件时（假设当前大小为200KB），若第一个程序开始统计，则总大小为3GB+200KB，超过阈值的部分为1GB+100KB，已经大于了1GB，所以最早的日志文件会被标记为.delete，再过15秒之后，第二个程序会将这个文件删除。