kafka系列：设置日志数据保存过期时间（含某个topic）、日志策略

最新推荐文章于 2025-03-06 09:41:01 发布
最新推荐文章于 2025-03-06 09:41:01 发布
阅读量8.1k 收藏 21
点赞数 1
分类专栏： # 【Kafka最佳实践笔记】
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/VIP099/article/details/106257561
版权
本文介绍了如何在Kafka中设置全局和特定Topic的日志数据保存过期时间，包括通过修改`server.properties`配置全局设置，使用`kafka-configs.sh`命令调整单个Topic的保留时间，以及配置日志立即删除和清理策略。此外，还讨论了日志分段、刷新和删除的具体策略，强调了日志文件实际删除的时间延迟。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

全局设置（h）

某个Topic设置（ms）

立刻删除（now）

日志策略

分段策略属性

日志刷新策略

日志保存清理策略

参考

全局设置（h）

server.properties

log.retention.hours=72
log.cleanup.policy=delete

 

某个Topic设置（ms）

比如topic：xdoctorx

./kafka-configs.sh --zookeeper localhost:2181 --alter --entity-name xdoctorx --entity-type topics --add-config retention.ms=86400000 

查看是否生效

./kafka-config --zookeeper localhsot:2181 --describle --entity-name xdoctorx --entity_type topi

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Kafka系列：动态更改Kafka Topic的数据保留时间，无需重启Kafka集群
TechWhiz的博客
08-30 714
Kafka系列：动态更改Kafka Topic的数据保留时间，无需重启Kafka集群在大数据领域，Kafka是一种广泛使用的分布式流数据平台，它在处理高吞吐量和低延迟的数据流时表现出色。在Kafka中，Topic是数据流的逻辑容器，它允许发布者将消息发送到指定的主题，并允许订阅者从该主题读取消息。在一些场景中，我们可能需要根据需求动态更改Kafka Topic的数据保留时间，而无需重启整个Kafka集群。本文将介绍如何通过Kafka的API和命令行工具实现这一目标。
kafka动态修改日志保存时间
weixin_43315470的博客
07-23 1412
修改对应的topic的保存时长3天使用–describe查看topic是否修改成功。
配置Kafka消息保留时间
neweastsun的专栏
09-29 9166
本文探索了Apache Kafka消息基于时间的保留策略。通过创建简单的shell脚本来简化管理过程，接着我们创建了独立的消费者和生产者，以验证在保留期之后消息的过期场景。
Kafka 消息不丢失：全方位保障策略
最新发布
艾斯比
03-06 782
要确保 Kafka 消息不丢失，需要从生产者、Broker 和消费者三个层面进行综合考虑和配置。生产者通过合理设置确认机制和重试机制，Broker 利用多副本、最小同步副本数和刷盘策略，消费者采用手动提交偏移量和异常处理等方法，全方位保障消息的可靠传输。在实际应用中，需要根据具体的业务场景和性能要求，灵活调整这些配置，以达到消息可靠性和系统性能的平衡。
【问题排查】kafka0.10.x过期数据不会自动删除问题
敲码的汉子
08-15 2376
摘要 线上环境kafka集群空间一共是8TB*12(disk)*4(node)=384TB，容量算是非常充裕了，而且每个topic设置的数据过期时间都是15天，但是发现磁盘容量已经80%。预估了下每天的数据增量，存满80%至少得5个月的数据。是过期数据没有删除吗？还是配置不起效？还是其他原因。 问题情况 检查了多个topic 节点上kafka-logs目录文件夹中的数据情况，发现如下情况。 1.绝...
【kafka-01数据保留时间设置】
笔生花的博客
01-30 826
某天突然发现我的kafka中group_id消费记录不见了，特地查了下咋回事。众所周知新版本的kafka group_id消费的offset记录已经不存储在zookeeper上了，而是存储在__consumer_offsets 这个kafka内部自己管理的topic中，这个topic有50个分区。毫无疑问估计是group_id offset存储也应该是有时间过期值的，于是专门查了查。需要两个参数结合，且最好配置的时间是一样的，下面是例子。
kafka设置topic过期时间
qq_43753286的博客
07-29 2876
1.第一种方式在配置文件设置全局策略 修改 server.propertie log.retention.hours=72 log.cleanup.policy=delete 2.对某个topic设置过期时间 ./kafka-configs.sh --zookeeper xxx:2181 --alter --entity-name mytopic \ --entity-type topics --add-config retention.ms=86400000 #retention.ms=864
kafka日志存储
Markland_l的博客
05-06 1286
当前风控系统使用的kafka是1.1版本，随机下载了相关源码，由于kafka是用scala编写的，并用gradle进行打包处理，也进行了相关程序的下载，对应的版本见下述列出，感兴趣的同事可以按如下版本下载，解压编译kafka源码，然后就可以在idea中查看了。目前风控kafka上述两个配置都是默认值，见下图，log.segment.bytes是1G，log.roll.hours是7d，这两个配置在后续分析segment相关原理时还会再详细介绍。
Kafka系列---【数据过期造成的假象，consumer不消费】
-少年-的博客
09-23 396
一、问题背景 周五的时候，推送了500万笔消息到kafka的TOPIC_TEST队列，使用EVENT_GROUP消费者组去消费，周一的时候，使用kafka-consumer命令查看消费者组的时候，发现，topic的6个分区都有大量的消息堆积，我把消费者应用重启了一下，发现剩余消息lag数还是不变，给人的感觉是不消费了，查看应用日志，确实没有打印自己写的日志。经过排查之后发现，换个clientId...
浅谈Kafka持久化与日志存储
weixin_59801183的博客
07-06 1907
Apache Kafka是一个分布式流处理平台，用于构建实时数据流管道和流式应用程序。Kafka具有高吞吐量、低延迟、可扩展性和容错性等特点。本文档将介绍Kafka的持久化与日志存储机制，包括Kafka的存储架构、数据压缩和数据清理等；此外还将分析如何在 Kafka 中进行日志监控和维护。
Kafka 基于文件时间和基于文件大小的日志留存策略说明
Michael的博客
05-10 2036
介绍了Kafka中，基于文件时间和基于文件大小两种日志留存策略的配置参数用法
修改kafka单个topic的数据过期时间
u011076848的专栏
10-30 1613
数据默认7天过期，86400000ms = 1天。修改为30天过期时间。查看修改后的过期时间。
kafka指定topic设置消息留存时间
gaofeng的博客
05-25 2668
背景 单个主题消息量庞大，需要指定这个主题的消息留存时间缩小点 执行命令 ./bin/kafka-configs.sh --bootstrap-server node1:9092 --entity-type topics --entity-name gaofengTest --alter --add-config retention.ms=259200000 修改完等几分钟，这个主题的消息量就下来了 ...
Kafka Topic全局和单个过期时间
南风知我意
05-01 3372
全局设置： 1）需要修改server.properties配置如下： log.retention.hours=168 ( 168h(7天) 配置该参数即可) log.cleanup.policy=delete （默认，可不配置） 2） 修改配置后重启kafka服务生效，该种设置消息过期时间的优点是可以对所有topic全部生效，缺点是需要重启kafka服务， 造成服务短暂的不可用！ 特定Topic设置： 可以不停服针对kafka中数据量较大的topic可以单独设置过期时间，而且不需要重启kafka 下
kafka 消息保留机制
King_S_H的博客
05-05 2201
的值设置为1GB，如果消息字节总数在不到一天的时间就超过了1GB，那么堆出来的部分就会被删除，相反，如果消息字节总数小与1GB，那么一天之后这些消息也会被删除，尽管分区的数据总量小于1GB。如果同时指定了两个参数没只要任意一个参数得到满足，消息就会被删除。为86400000（也就是一天），
kafka topic 一段时间不消费_System|分布式|Kafka
weixin_28685487的博客
12-25 384
Kafka是最前沿的开源MQ之一，阿里的RocketMQ也借鉴了不少Kafka的思想。2011年领英发了篇文章描述Kafka的设计，我这先学习初版。新版最重要的改变就是exactly once，众所周知，at least once很容易，retry即可; 而exactly once则很难, 它必须同时维护幂等性。Reference: http://notes.stephenholiday.com/...
kafka修改对应topic的日志保存周期
别来沾边儿
11-17 2005
某些时候，当几个topic生产者突发产生大量消息时，会造成磁盘空间紧张，这时，除了增加磁盘，另一个方法就是修改配置文件，将日志的保存时间修改小一点，但这两种方案，都必须停机和重启kafka，显然，这在生产集群上，是不能这么处理的。修改后，新的配置会在 log.retention.check.interval.ms 时间内被检查并应用到整个集群，该值在 kafka/config/server.properties 中配置，默认为 300 秒。
kafka消息过期时间设置（全局和特定topic）
热门推荐
u012809308的博客
11-23 2万+
kafka消息过期时间配置，包括全局和特定topic
Kafka
a123456444的博客
07-20 2545
一个基于发布订阅模式的分布式消息队列。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

NIO4444

如果对您有帮助，欢迎打赏支持！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值