Kafka数据保存时间

最新推荐文章于 2024-05-24 14:32:16 发布
最新推荐文章于 2024-05-24 14:32:16 发布
阅读量5k 收藏 4
点赞数 1
分类专栏： kafka 文章标签： kafka 数据 保存时间 回滚
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38011805/article/details/120137147
版权

对所有topic起作用

log.retention.hours=72
log.cleanup.policy=delete

对指定topic起作用

./kafka-config.sh --zookeeper localhost:2181 --alter --entity-name mytopic --entity_type topics --add-config retention.ms=86400000

手动删除指定topic的过期数据

./kafka-topic.sh --zookeeper localhost:2181 --alter --topic  mytopic --config  cleanup.policy=delete

查看topic配置

./kafka-config --zookeeper localhsot:2181 --describle --entity-name mytopic --entity_type topics

跃马檀溪
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Kafka 消息保留时长由 24 小时变更为 72 小时的影响分析
weixin_44976692的博客
06-05 3万+
将 Kafka 消息保留时长从 24 小时增加到 72 小时，可能会导致 CPU 使用率增加，主要原因包括增加的磁盘 I/O 操作、降低的页缓存命中率、JVM 垃圾回收负担增加以及 Broker 负载增加。通过监控和分析具体原因，并优化硬件资源、Kafka 配置和 JVM 设置，可以有效减少 CPU 使用率，确保 Kafka 集群的高效运行。这篇博客希望能够帮助你理解 Kafka 消息保留时长变更带来的影响，并提供相应的优化方案。如果你有任何疑问或需要进一步的帮助，请随时联系。
Kafka : kafka查询某时间段内的消息
九师兄
07-04 1万+
1.美图 2. 根据写入kafka的时间查询 //筛选时间戳范围内的消息 ./kafka-console-consumer.sh --topic ejabberd-chat-messages --zookeeper 192.168.151.18:2181 --from-beginning |awk -F ":" '{print $2 $0}' |awk -F "," '$1>= 154114...
kafka数据保存时间问题与kafka的性能测试
热门推荐
独家记忆
10-15 2万+
kafka数据保存时间问题。 Kafka删除检查主要有两种，任一达到要求即执行。 （1） 按时间粒度，可设置分钟或者小时。达到时间进行处理。 （2） 按文件大小限制，设置最大文件大小，达到上限即进行处理。 可设置文件大小检查周期。 kafka的性能测试 kafka中有自带的性能测试代码，测试结果均来自kafka自带的测试代码 ，位于bin/kafka-producer-perf-test.sh。
08、Kafka ------ 消息存储相关的配置--＞消息过期时间设置、查看主题下的消息存活时间等配置
Java 领域技术分享
01-10 3090
Kafka ------ 消息存储相关的配置-->消息过期时间设置、查看主题下的消息存活时间等配置
配置Kafka消息保留时间
neweastsun的专栏
09-29 8056
本文探索了Apache Kafka消息基于时间的保留策略。通过创建简单的shell脚本来简化管理过程，接着我们创建了独立的消费者和生产者，以验证在保留期之后消息的过期场景。
Kafka 多维度系统精讲（9）- kafka consumer（3）-多线程
一角残叶的博客
10-12 304
1 Consumer 多线程并发处理 1.1 经典模式 package com.tzb.kafka.consumer; import org.apache.kafka.clients.consumer.ConsumerRecord; import org.apache.kafka.clients.consumer.ConsumerRecords; import org.apache.kafka.clients.consumer.KafkaConsumer; import org.apache.kafka
kafka读取写入数据
08-24
- **数据保留策略**: 设置合理的数据保留时间，防止磁盘空间耗尽，同时避免无用的数据长期占用存储。 以上就是关于 Kafka 读取写入数据的基本知识，理解并掌握这些概念和原理对于有效利用 Kafka 构建高效的数据...
flume消费kafka数据上传hdfs.doc
05-09
Memory Channel 传输速度更快，但因为数据保存在 JVM 的堆内存中，Agent 进程挂掉会导致数据丢失，适用于对数据质量要求不高的需求。File Channel 传输速度相对于 Memory 慢，但数据安全保障高，Agent 进程挂掉也...
flume+kafka+flink+mysql数据统计
04-20
在这个数据统计与分析系统中，Flink 作为处理引擎，可以从 Kafka 消费数据，执行实时分析任务，如计算每分钟的访问量、最热门的页面、平均响应时间等。Flink 的事件时间处理和窗口功能使其在处理延迟数据和动态数据...
python每5分钟从kafka中提取数据的例子
09-18
`kafkawritefile`函数是主要的工作流程，它创建一个`KafkaDownloader`对象，然后在一个循环中不断读取Kafka数据，直到达到指定的时间步数。 `KafkaDownloader`类不在提供的代码中，但通常会包含初始化Kafka消费者、...
指定时间段消费Kafka工具
12-10
使用环境:Jdk 1.8 使用场景：生产环境海量数据，用kafka-console-consumer 消费kafka某时间段消息用于分析问题，生产环境海量数据，用kafka-console-consumer.sh只能消费全量，文件巨大，无法grep。 代码来源于博主：BillowX_ ，感谢分享 原贴地址：https://blog.csdn.net/weixin_35852328/article/details/105511784 使用方法见压缩包内；或者直接执行，参数不全时会打印使用方法。
kafka参数配置详解
03-24
log.retention.hours 参数指定了日志保存时间，单位是小时。在这个示例中，log.retention.hours 设置为 168。 log.segment.bytes 参数指定了日志segment 文件的大小，超出该大小则追加到一个新的日志 segment 文件...
Kafka 根据 时间段查询消费数据
最新发布
weixin_43877044的博客
05-24 347
在自定义kafka查询时（配合seek使用），需用kafkaConsumer.assign，而不是kafkaConsumer.subscribe。
kafka按照时间查询记录
u011311291的博客
03-09 6787
本质是重新开始消费，逐条按时间比较 –from-beginning //表示重头开始读 –property print.timestamp=true //表示显示入kafka时间 使用awk对消费出来的记录进行筛选过滤，比如以下表示对每条消费记录按照“CreateTime:“或者”\t“进行分割，$0表示原始的记录，$1表示分割后的第1个字符串，以下$2为分割后的第二字符串，为入kafka的时间 ./kafka-console-consumer.sh --topic com.zte.asset.collec
Kafka拉取某一个时间段內的消息
xo19882011的专栏
09-01 5229
一般来说我们都使用Kafka来记录用户的操作记录以便后续分析。 但是通常使用的时候需要按天来统计每天的去重用户数、点击量之类的。 这个时候如果直接拉某个topic的数据的话，就需要判断每个消息的时间戳，还要兼顾把所有的Partition都拉完才能保证数据的完整。 因此如果能只拉取某一个时间段内的消息，就能极大的简化后续的处理逻辑。 拉取时段内消息实现 为了实现这个目的借助于根据时间戳获取Partition内部偏移的方法，然后逐个拉取所有的Partition的消息。 实验例子，python+confluenc
Kafka系列之：不重启kafka集群设置kafka topic数据保留时间
zhengzaifeidelushang的博客
07-11 2163
Kafka系列之：不重启kafka集群设置kafka topic数据保留时间
kafka根据指定timestamp获得对应的offset
yyqq188的博客
11-07 2084
kafka offset timestamp
借助KafkaTool在海量Kafka数据快速精准定位/查询目标数据
locahuang的博客
05-29 2525
如何在海量的Kafka数据定位/查询精准到秒级的数据？
Kafka集群修改单个Topic数据保存周期
qq_32445015的博客
10-28 2091
在大数据部门经常使用Kafka集群，有的时候大数据部门可能在Kafka中的Topic数据保存时间不需要很长，一旦被消费后就不需要一直保留。默认Topic存储时间为7day，个别的Topic或者某台Kafka集群需要修改Topic数据保存的一个周期，调整为3天或者1天目前修改Topic 有两种方法以上两种方式均进行演示相关版本信息。
Kafka中数据保存的时间
08-23
在Kafka中，数据保存的时间可以通过配置Kafka的消息保留策略来设置。默认情况下，Kafka Broker的消息保留策略是要么保留一定时间，要么保留到消息达到一定大小的字节数。 如果你想要设置Kafka中数据保留的时间，你可以使用bash命令来完成。具体命令如下： 1. 构建Kafka消费者。 2. 登陆Kafka服务器。 3. 获取topic。 4. 批量执行命令来设置topic保留数据的时间。 举个例子，如果你想要设置Kafka中的topic数据保留3天，你可以使用以下bash命令： ``` kafka-configs.sh --zookeeper <zookeeper地址> --alter --entity-type topics --entity-name <topic名称> --add-config retention.ms=259200000 ``` 这个命令将会把指定的topic的数据保留时间设置为3天，即259200000毫秒。你可以根据需要自行修改参数。 需要注意的是，如果你同时设置了时间和大小的限制，那么当满足其中一个条件时，Kafka将执行数据清除工作。比如，在设置了7天和10G的限制条件下，当消息达到了10G时，不论时间是否满足条件，Kafka都会清空数据。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [Kafka系列之：不重启kafka集群设置kafka topic数据保留时间](https://blog.csdn.net/zhengzaifeidelushang/article/details/125722536)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* *3* [kafka数据保存策略有哪些，你知道吗](https://blog.csdn.net/longzorg_cn/article/details/128055142)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值