修改kafka单个topic的数据过期时间

已于 2023-10-30 10:04:12 修改
阅读量1.3k 收藏 2
点赞数 1
分类专栏： kafka 文章标签： kafka
于 2023-10-30 10:02:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011076848/article/details/134113001
版权

数据默认7天过期，86400000ms = 1天
修改为30天过期时间

./kafka-configs.sh  --bootstrap-server 172.16.6.21:9092 --alter --entity-name topic_name --entity-type topics --add-config retention.ms=2592000000

查看修改后的过期时间

./kafka-configs.sh --bootstrap-server 172.16.6.21:9092 --describe --entity-name topic_name --entity-type topics

pekingK
关注
专栏目录
图解Kafka中的数据采集和统计机制
石臻臻的杂货铺(szzdzhp001)
11-24 1万+
在讲解kafka限流机制之前,我想先讲解一下Kafka中的数据采集和统计机制 你会不会好奇,kafka监控中,那些数据都是怎么计算出来的 比如下图这些指标 这些数据都是通过Jmx获取的kafka监控指标, 那么我们今天老探讨一下,这些指标都是怎么被计算出来的 在开始分析之前,我们可以自己思考一下 如果让你统计前一分钟内的流速,你会怎么统计才能够让数字更加精确呢？ 我相信你脑海中肯定出现了一个词：滑动窗口 在kafka的数据采样和统计中,也是用了这个方法, 通过多个样本Sample进行采样,并合并统计 当然
Kafka源码分析-Producer Topic元数据拉取与Partitioner组件源码剖析
program哲学
07-31 90
本文从源码角度对Producer端Topic元数据拉取与Partitioner组件进行深入剖析
kafka中修改某个主题中数据的保留时间
King_S_H的博客
05-05 2194
但是有的时候我们需要对某一个主题的消息存留的时间进行变更，而不影响其他主题。且kafka集群不用重启。修改完成之后可以使用–describe查看是否修改成功。中默认消息的保留时间是7天，若想更改，需在配置文件。使得主题的留存时间保存为5天。
kafka单独设置topic过期时间
gwf学习整理
03-07 2469
kafka 查看单个topic过期时间
【查看Kafka存储日志时间】
最新发布
weixin_46356409的博客
08-02 1021
通过查看Kafka的配置文件，你可以了解Kafka broker的默认配置参数，包括消息保留时间和存储大小等。根据需要，你可以修改这些参数来调整Kafka的行为。如果你需要对特定的Topic进行配置，可以使用命令显式设置这些参数，这样在描述信息中就会显示这些参数。要查看Kafka Topic的配置参数，你可以使用命令的--describe选项。这个命令会显示Topic的基本信息，包括分区、副本等，但不会直接显示所有的配置参数。要查看特定的配置参数，你需要使用命令。使用。
kafka设置topic过期时间
qq_43753286的博客
07-29 2781
1.第一种方式在配置文件设置全局策略 修改 server.propertie log.retention.hours=72 log.cleanup.policy=delete 2.对某个topic设置过期时间 ./kafka-configs.sh --zookeeper xxx:2181 --alter --entity-name mytopic \ --entity-type topics --add-config retention.ms=86400000 #retention.ms=864
Kafka集群修改单个Topic数据保存周期
qq_32445015的博客
10-28 2491
在大数据部门经常使用Kafka集群，有的时候大数据部门可能在Kafka中的Topic数据保存时间不需要很长，一旦被消费后就不需要一直保留。默认Topic存储时间为7day，个别的Topic或者某台Kafka集群需要修改Topic数据保存的一个周期，调整为3天或者1天目前修改Topic 有两种方法以上两种方式均进行演示相关版本信息。
kafka针对topic设置数据的过期时间
qq_36470475的博客
08-30 7550
kafka默认数据过期时间是7天 可以通过设置全局变量来设置,但是要针对每一台kafka去设置,并且修改完需要重启kafka log.retention.hours=72 (配置该参数即可) log.cleanup.policy=delete bin/kafka-server-stop.sh bin/kafka-server-start.sh -daemon config/server.properties & 也可以针对某一个topic设置数据的过期时间,可以不需要重启kafka ./k
Kafka 不停机修改某一个topic数据保存时间
jast
04-09 1万+
查看topic信息 ./kafka-topics.sh --describe --zookeeper zk:2181 --topic topicName 25/03/08 16:05:29 INFO zkclient.ZkClient: zookeeper state changed (SyncConnected) Topic:topicName PartitionCount:3 ...
Kafka
小道的博客
11-23 2156
Kafka知识点汇总
Kafka中的数据采集和统计机制
kafka_zsxq的博客
12-09 1871
温馨提示: 获得更好阅读体验请访问 多图解Kafka中的数据采集和统计机制 在讲解kafka限流机制之前 我想先讲解一下Kafka中的数据采集和统计机制 你会不会好奇,kafka监控中,那些数据都是怎么计算出来的 比如下图这些指标 LogiKM监控图 这些数据都是通过Jmx获取的kafka监控指标, 那么我们今天老探讨一下,这些指标都是怎么被计算出来的 在开始分析之前,我们可以 自己思...
修改kafka过期时间
a123147abc的博客
12-20 823
修改kafka过期时间步骤
08、Kafka ------ 消息存储相关的配置--＞消息过期时间设置、查看主题下的消息存活时间等配置
Java 领域技术分享
01-10 3520
Kafka ------ 消息存储相关的配置-->消息过期时间设置、查看主题下的消息存活时间等配置
kafka消息过期时间设置（全局和特定topic）
u012809308的博客
11-23 2万+
kafka消息过期时间配置，包括全局和特定topic
kafka设置某个topic的数据过期时间
热门推荐
Little_fxc的博客
08-05 2万+
kafka 单独设置某个topic的数据过期时间 kafka 默认存放7天的临时数据，如果遇到磁盘空间小，存放数据量大，可以设置缩短这个时间。 全局设置 修改 server.properties log.retention.hours=72 log.cleanup.policy=delete 单独对某一个topic设置过期时间 但如果只有某一个topic数据量过大。 想单独对这个topic的过期...
Kafka：设置Topic日志文件清理时间和清理策略
程序员无羡的博客
03-20 1748
Kafka：设置Topic日志文件清除时间和清除策略
动态修改kafka 日志保存时间
qq_30498935的博客
08-30 1万+
  近期kafka存储报警，磁盘容量已达到86%   最直接的方式是加磁盘扩容 但是没有预算。。。。。 最后为了保证线上不出问题，动态修改kafka的日志的存储时长，默认是保存7天 动态修改为3天 1、先查看所有的topic kafka-topics.sh --list --zookeeper  node1:2181 zookeeper的端口号和名称自行修改，端口号写错会报错...
Kafka Topic全局和单个过期时间
南风知我意
05-01 3260
全局设置： 1）需要修改server.properties配置如下： log.retention.hours=168 ( 168h(7天) 配置该参数即可) log.cleanup.policy=delete （默认，可不配置） 2） 修改配置后重启kafka服务生效，该种设置消息过期时间的优点是可以对所有topic全部生效，缺点是需要重启kafka服务， 造成服务短暂的不可用！ 特定Topic设置： 可以不停服针对kafka中数据量较大的topic可以单独设置过期时间，而且不需要重启kafka 下
Kafka消息过期时间设置
DeoSql的博客
09-17 515
在Kafka中，消息的过期时间是通过设置消息的时间戳（timestamp）和主题（topic）的消息保留策略（retention policy）来实现的。消息的时间戳可以是消息发送的时间（producer timestamp）或消息在Kafka集群中被接收的时间（broker timestamp）。在Kafka中，消息的过期时间是一个重要的概念，它决定了消息在Kafka集群中的存储时间。综上所述，通过设置消息的时间戳和主题的消息保留策略，我们可以在Kafka中实现消息的过期时间设置。
kafka删除topic数据
07-25
要删除 Kafka 中的一个 topic 的数据，你可以按照以下步骤进行操作： 1. 停止 Kafka 服务：首先，确保 Kafka 服务已经停止运行，以免在删除数据时出现意外情况。 2. 删除 topic 数据目录：在 Kafka 的配置文件中，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值