kafka设置某个topic的数据过期时间

kafka 单独设置某个topic的数据过期时间

kafka 默认存放7天的临时数据,如果遇到磁盘空间小,存放数据量大,可以设置缩短这个时间。

全局设置

修改 server.properties

log.retention.hours=72
log.cleanup.policy=delete

单独对某一个topic设置过期时间

但如果只有某一个topic数据量过大。
想单独对这个topic的过期时间设置短点:

./kafka-configs.sh --zookeeper localhost:2181 --alter --entity-name mytopic --entity-type topics --add-config retention.ms=86400000

retention.ms=86400000 为一天,单位是毫秒。

查看设置:

$ ./kafka-configs.sh --zookeeper localhost:2181 --describe --entity-name mytopic --entity-type topics
Configs for topics:wordcounttopic are retention.ms=86400000

立即删除某个topic下的数据

./kafka-topics.sh --zookeeper localhost:2181 --alter --topic mytopic --config cleanup.policy=delete
### 清理Kafka过期数据 在Apache Kafka中,消息保留策略决定了日志分段中的数据何时被删除。默认情况下,有两种主要方式来控制数据的生命周期:基于时间的保留和基于大小的保留。 对于基于时间的保留机制而言,当一条记录的时间戳超过配置参数`log.retention.ms`所定义的时间间隔后,这条记录会被认为是已过期并可以被清除[^1]。例如,如果设置`log.retention.ms=86400000`(即一天),那么任何早于当前时间24小时的消息都将标记为可删除状态。 另外一种方法则是通过设定主题级别的属性`log.segment.bytes`以及`log.retention.bytes`来进行基于存储空间限制下的清理工作。一旦某个分区内的所有日志片段总字节数超过了指定的最大值(`log.retention.bytes`),最旧的日志片段将会被移除直到满足条件为止;而单个日志片段达到最大尺寸(`log.segment.bytes`)时也会触发滚动新文件的操作,在此过程中同样会考虑上述提到的时间阈值逻辑[^2]。 值得注意的是,为了确保消费者能够正常处理这些变化,特别是那些版本较老可能不具备自动调整能力的应用程序,应当适当增大消费者的获取批次大小(fetch size),以便它们能顺利拉取到更大的记录批量[^3]。 最后需要注意的一点是在实际环境中执行此类操作前应该充分评估影响范围,并做好相应的备份措施以防意外情况发生。 ```bash # 修改Kafka配置文件server.properties以更改全局或特定主题的日志保留策略 $ vi /path/to/kafka/config/server.properties # 或者针对单一主题应用不同的保留规则 $ kafka-configs.sh --alter --entity-type topics --entity-name my_topic \ --add-config retention.ms=86400000 ```
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值