Kafka topic消息清理几种方式

最新推荐文章于 2025-04-15 14:35:52 发布
最新推荐文章于 2025-04-15 14:35:52 发布
阅读量7.3k 收藏 8
点赞数 5
分类专栏： elfk 文章标签： kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41586875/article/details/139985523
版权

Kafka清理Topic消息

参考链接：https://cloud.tencent.com/developer/article/1590094

快速配置删除法

  1. kafka启动之前，在server.properties配置delete.topic.enable=true

  2. 执行命令bin/kafka-topics.sh --delete --topic test --zookeeper zk:2181或者使用kafka-manage集群管理工具删除。如果kafka启动之前没有配置delete.topic.enable=true，topic只会标记为marked for deletion，并且在Zookeeper中的/admin/delete_topics下创建对应的子节点,加上配置，重启kafka，之前的topic就真正删除了

  3. 优点：由Kafka来完成Topic的相关删除，只需要修改server.properties配置文件的delete.topic.enable为true就可以了

  4. 缺点：需要重启Kafka来完成配置文件的生效

# 默认是false，注意等号前后一定不能有空格，否则配置会不生效
delete.topic.enable=true

# Bitnami Chart环境变量设置(涉及重启了)
KAFKA_CFG_DELETE_TOPIC_ENABLE=true


# 创建新的Topic logstash_test（拥有3个副本）
kafka-topics.sh --create --bootstrap-server ape-kafka-0.ape-kafka-headless:9092,ape-kafka-1.ape-kafka-headless:9092,ape-kafka-2.ape-kafka-headless:9092 --topic logstash_test --partitions 1 --replication-factor 3


# 查看Topic logstash_test的状态，发现Leader是1（broker.id=0）,有三个备份分别是0，1，2
I have no name!@ape-kafka-0:/$ kafka-topics.sh --describe --bootstrap-server ape-kafka-0.ape-kafka-headless:9092,ape-kafka-1.ape-kafka-headless:9092,ape-kafka-2.ape-kafka-headless:9092 --topic logstash_test
Topic: logstash_test    TopicId: 1j9d-WGVTzKTpGdTtO0YFQ PartitionCount: 1       ReplicationFactor: 3    Configs: flush.ms=1000,segment.bytes=1073741824,flush.messages=10000,max.message.bytes=1000012,retention.bytes=1073741824
        Topic: logstash_test    Partition: 0    Leader: 0       Replicas: 0,2,1 Isr: 0,2,1
	
# 查看Zookeeper上的Topic
$ zkCli.sh -server localhost:2181
[zk: localhost:2181(CONNECTED) 0] ls /brokers/topics
[__consumer_offsets, frontend_invoke_queue, frontend_invoke_result_log, lake_add_namelist, lake_entrylog, logstash_test]
[zk: localhost:2181(CONNECTED) 1] ls /config/topics
[__consumer_offsets, frontend_invoke_queue, frontend_invoke_result_log, lake_add_namelist, lake_entrylog, logstash_test]

# 查看Kafka的server.properties配置文件中log.dirs 的目录
I have no name!@ape-kafka-0:/$ ls /bitnami/kafka/data/logstash_test-0/
00000000000000000000.index
最低0.47元/天 解锁文章
【Kafka】Kafka如何彻底删除Kafka中的topic
九师兄
09-26 2800
工作中因为各种原因， 例如topic中消息堆积的太多，或者kafka所在磁盘空间满了等等，可能需要彻底清理一下kafka topic，那么如何彻底删除topic？在 Apache Kafka 中，当你删除一个主题（Topic）时，主题的删除操作实际上是异步的。Kafka 不会立即删除主题，而是将删除请求添加到一个内部的主题中，该主题称为 __consumer_offsets。这个主题包含了消费者组的偏移量信息，以便 Kafka 知道每个消费者组的消费状态。
Kafka系列之：深入理解Kafka Topic数据保留策略
zhengzaifeidelushang的博客
08-23 995
Kafka系列之：深入理解Kafka Topic数据保留策略
kafka清除topic内容命令（好用）
song_quan_的博客
06-25 1047
./kafka-configs.sh --zookeeper 10.106.176.71:2181 --entity-type topics --entity-name rs_ods_my_sp_gradeandweight_si --alter --add-config retention.ms=10000
Apache Kafka 消息清理之道
2401_89221704的博客
02-10 726
消息的清理是 MQ 中间件的基本能力，可以避免 MQ 的存储占用空间无序增长。与其他消息产品不同，Apache Kafka(以下简称 Kafka) 中 topic 上的消息被消费后不会被马上清除，而是由 topic 级别的清理策略来控制。本文将简要介绍 Kafka 中的两种消息清理策略：deletion 和 compaction，探讨他们的应用场景、配置参数以及一些技术细节。
kafka如何彻底删除topic及数据
360linker
06-05 12万+
前言： 删除kafka topic及其数据，严格来说并不是很难的操作。但是，往往给kafka 使用者带来诸多问题。项目组之前接触过多个开发者，发现都会偶然出现无法彻底删除kafka的情况。本文总结多个删除kafka topic的应用场景，总结一套删除kafka topic的标准操作方法。 step1： 如果需要被删除topic 此时正在被程序 produce和consume，则这些生产和消费...
彻底删除kafka的topic方法
ZERO
06-07 1366
转载自：https://blog.csdn.net/lulongzhou_llz/article/details/78298035 查看所有topic：kafka/bin/kafka-topics.sh --list --zookeeper zkServer 　　1、删除kafka存储目录（server.properties文件log.dirs配置，默认为/tmp/kafka-logs）相关t...
Kafka 清空Topic
王木头的博客
01-15 2397
topic 清理
kafka清理topic
qq_31024251的博客
08-28 869
服务组件版本信息 项目 Value zookeeper 3.4.6 kafka 2.13 注： 如果当前topic没有使用过即没有传输过信息：可以彻底删除 如果当前topic有使用过即有过传输过信息：并没有真正删除topic只是把这个topic标记为删除（marked for deletion）。 彻底删除topic (本文将要删除的topic名称为test) 删除kafka相关的数据目录 数据目录请参考目标机器上的kafka配置：server.properties 中的配
kafka删除topic消息的四种方式
新技术革命
01-25 3万+
方法一：快速配置删除法（简单粗暴，如果这个主题有程序还在消费都，此时KAFKA就game over） 1.kafka启动之前，在server.properties配置delete.topic.enable=true 2.执行命令bin/kafka-topics.sh --delete --topic test --zookeeper zk:2181或者使用kafka-manager集群管理工具删除 注意：如果kafka启动之前没有配置delete.topic.enable=true，topic只会标记
kafka清理数据
牵手无奈的专栏
08-25 1万+
kafka清理数据
消息中间件篇之Kafka-数据清理机制
冲鸭的博客
02-26 1252
Kafka中topic的数据存储在分区上，分区如果文件过大会分段存储segment，每个分段都在磁盘上以索引(xxxx.index)和日志文件(xxxx.log)的形式存储，这样分段的好处是，第一能够减少单个文件内容的大小，查找数据方便，第二方便kafka进行日志清理。第二是根据topic存储的数据大小，当topic所占的日志文件大小大于一定的阈值，则开始删除最久的消息。第一，根据消息的保留时间，当消息保存的时间超过了指定的时间，就会触发清理，默认是168小时（ 7天）。
大厂消息中间件高频面试题与知识点整理（RabbitMQ、RocketMQ、ActiveMQ、Kafka、ZeroMQ、MetaMQ）
热门推荐
张彦峰的博客
04-07 171万+
互联网高频面试之消息中间件基本问题和知识点整理分析
Kafka 消息数据结构原理与实际应用——Kafka 消息发送和接收代码实例讲解
最新发布
AI天才研究院
04-15 87
/ 1. 定义一个用于传输的用户类@Override// 2. 创建用户对象的序列化器@Override// 3. 创建用户对象的反序列化器@Override// 4. 使用自定义序列化器的生产者// 创建并发送用户对象i <= 5;// 5. 使用自定义反序列化器的消费者生产者最佳实践使用适当的批处理设置（batch.size。
kafka中数据清理
科学的N次方
06-21 483
Kafka的消息存储在磁盘中，为了控制磁盘占用空间，Kafka需要不断地对过去的一些消息进行清理工作。Kafka的每个分区都有很多的日志文件，这样也是为了方便进行日志的清理。在Kafka中，提供两种日志清理方式：  日志删除（Log Deletion）：按照指定的策略直接删除不符合条件的日志。  日志压缩（Log Compaction）：按照消息的key进行整合，有相同key的但有不同value值，只保留最后一个版本。 在Kafka的broker或topic配置中： 配置项 配置值 说明 log.c
kafka删除topic消息的三种方式
爱折腾的小土豆的博客
07-01 1万+
kafka删除topic消息的三种方式 方法一：快速配置删除法（确保topic数据不要了） 1.kafka启动之前，在server.properties配置delete.topic.enable=true 2.执行命令bin/kafka-topics.sh --delete --topic test --zookeeper zk:2181或者使用kafka-manager集群管理工具删除 注意：如果kafka启动之前没有配置delete.topic.enable=true，topic只会标记为marked
彻底删除Kafka中的topic
06-27 3375
1、删除kafka存储目录（server.properties文件log.dirs配置，默认为"/tmp/kafka-logs"）相关topic目录 2、Kafka 删除topic的命令是：      ./bin/kafka-topics  --delete --zookeeper 【zookeeper server】  --topic 【topic name】      如
kafka消息的处理机制（五）
rickiyang的博客
04-24 6529
这一篇我们不在是探讨kafka的使用，前面几篇基本讲解了工作中的使用方式，基本api的使用还需要更深入的去钻研，多使用才会有提高。今天主要是探讨一下kafka的消息复制以及消息处理机制。 1. broker的注册 Kafka使用Zookeeper来维护集群成员的信息。每个broker都有一个唯一标识符，这个标识符可以在配置文件里指定，也可以自动生成。在kafka启动的时候，他通过创建临节点...
linux下kafka创建topic的几种方式
05-10
在Linux下，Kafka创建topic的几种方式如下： 1. 使用kafka-topics.sh脚本创建topic 在Linux系统上的Kafka安装目录下，有一个bin目录，其中有一个名为kafka-topics.sh的脚本文件，可以使用该脚本创建Kafka的topic。 例如，要创建一个名为test的topic，可以使用以下命令： ``` ./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test ``` 其中，--create选项表示创建topic，--zookeeper指定Zookeeper的地址，--replication-factor指定副本因子，--partitions指定分区数，--topic指定topic名称。 2. 使用kafkacat工具创建topic kafkacat是一个Kafka命令行工具，它可以用来创建Kafka的topic。 例如，要创建一个名为test的topic，可以使用以下命令： ``` kafkacat -b localhost:9092 -t test -P -K: ``` 其中，-b指定Kafka的地址，-t指定topic名称，-P表示生产者模式，-K指定key和value之间的分割符。 3. 使用Java API创建topic 除了使用命令行工具外，还可以使用Java API来创建Kafka的topic。 例如，下面的Java代码可以创建一个名为test的topic： ```java import kafka.admin.AdminUtils; import kafka.utils.ZKStringSerializer$; import org.I0Itec.zkclient.ZkClient; import java.util.Properties; public class CreateTopic { public static void main(String[] args) { String zkConnect = "localhost:2181"; int sessionTimeoutMs = 10000; int connectionTimeoutMs = 10000; ZkClient zkClient = new ZkClient(zkConnect, sessionTimeoutMs, connectionTimeoutMs, ZKStringSerializer$.MODULE$); String topicName = "test"; int numPartitions = 1; int replicationFactor = 1; Properties topicConfig = new Properties(); AdminUtils.createTopic(zkClient, topicName, numPartitions, replicationFactor, topicConfig); zkClient.close(); } } ``` 该代码使用了Kafka的AdminUtils类来创建topic，首先创建一个ZkClient对象，然后使用AdminUtils.createTopic方法创建topic。其中，zkConnect指定Zookeeper的地址，numPartitions指定分区数，replicationFactor指定副本因子，topicConfig指定topic的属性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

旺仔_牛奶

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值