Kafka手动删除主题

最新推荐文章于 2022-09-30 09:34:18 发布
最新推荐文章于 2022-09-30 09:34:18 发布
阅读量3.8k 收藏 2
点赞数
分类专栏： kafka 文章标签： kafka big data java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43253178/article/details/121681131
版权

Kafka手动删除主题

主题的元数据存储在Zookeeper中的/brokes/topics/ 和/config/topics路径下，主题中的消息数据存储在log.dir 或log.dirs配置的路径下，我们只需要手动删除这些地方的内容即可。总共分为三个步骤：
1.删除Zookeeper中的节点 /config/topics/topicName:
[zk:localhost:2181/kafka (CONNECTED) 1] delete /config/topics/topicName
2.删除Zookeeper中的节点 /brokers/topics/topicName:
[zk:localhost:2181/kafka (CONNECTED) 2] rmr /brokers/topics/topicName
3.删除集群中所有与主题topicName相关的文件。注意：删除的文件是在kafka的server.properties配置中配置的log.dirs路径下。
[root@node1 kafka] rm -rf /tmp/kafka-logs/topicName*
[root@node2 kafka] rm -rf /tmp/kafka-logs/topicName*
[root@node3 kafka] rm -rf /tmp/kafka-logs/topicName*

随便记录下
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Kafka-zk-restapi:Kafka Zookeeper RESTful API执行主题消费者组管理度量（偏移\滞后\消息）收集和监控
05-13
Kafka REST API 概述 Kafka / ZK REST API将提供可用于生产环境的端点，以执行一些针对Kafka和Zookeeper的管理/度量任务。 提供以下功能： 集群/节点/控制器信息描述 经纪人名单 代理配置获取/更新，动态配置获取/更新/删除 日志目录描述，按代理/主题/分区/日志目录过滤 主题创建/删除/描述/列表 主题配置创建/更新/列表 主题分区添加和重新分配，支持日志目录之间的副本移动 主题分区领导转移回首选副本 消费者组列表/描述/删除 消费群体滞后检查 最早/最新/时间戳的偏移量重置 通过不同的解码器查看消息的内容，也支持avro 支持架构注册表上的架构管理 从公开JMX指标的代理收集JMX指标有关更多详细信息，请参阅 使用Spring Security保护REST API 我们还为这些API开放了一个简单但有用的UI。 请检查了解更多详细
CDH中重装kafka——清空之前产生的数据（data文件数据与Zookeeper中的数据）
01-20
如果在CDH中安装过Kafka后，后面需要重新安装则可以参考此篇博文。 一、删除Kafka产生的data 重新安装kafka，后面重新分配的kafka一直安装不成功，是因为停用时不会删除已经有点数据。所以需要注意删除  /var/local/kafka/data   下的数据文件，可以看这个路径下的文件： 二、删除 Kafka 在 Zookeeper 中产生的主题数据 首先先连接 Zookeeper： zookeeper-client 然后因为我们CDH中配置 ZooKeeper Root 时候填写过 “/” 与下图的 “/kafja” 两个路径，所以需要分别对应删除掉 zookeepe
如何删除kafka主题数据
neweastsun的专栏
09-30 4943
kafka消息在过了保留周期之后会被自动清除。但总有一些情况，需要立刻删除消息。假设这样场景：已经开始给kafka主题生产消息的应用发现了缺陷，接着bug修复程序需要更新，这是kafka主题中已经了一些错误的消息。这样场景通常在开发环境，我们需要的就是快速批量删除这些消息。本文介绍了几种方式删除kafka主题数据。包括设置主题过期时间、删除主题所有数据及部分分区数据，到通过删除主题变相删除数据。
python ndarray数组和list列表的优势和区别
tianyongsen1的博客
10-26 5252
python ndarray数组和list列表的优势和区别 ndarray是numpy库的多维数组数据类型，ndarray和list的区别和优势如下： '''ndarray数组和list列表的区别''' #ndarray元素必须具有相同的数据类型，而list可以不同 a=np.array([0,1,'a']) b=[0,1,'a'] print (type(a[0])) print (type(b[0])) #ndarray可与标量直接运算，数组之间也可矢量化运算 a=np.arange(0.0,1,0.1
zookeeper
享受旅行中的VIP快乐
07-10 2152
是一个集中的服务，用于维护配置信息、命名、提供分布式同步和提供组服务。所有这些类型的服务都以某种形式被分布式应用程序使用。每次它们被实现时，都会有大量的工作来修复不可避免的错误和竞争条件。由于实现这些服务的困难，应用程序最初通常会略过这些服务，这使得它们在出现更改时变得脆弱，并且难以管理。即使正确地执行了这些服务，在部署应用程序时，这些服务的不同实现也会导致管理复杂性由雅虎研究院开发,是的开源实现,后来托管到 ,于正式成为的顶级项目大数据生态系统里由很多组件的命名都是某些动物或者昆虫，比如大象，就是蜂巢，即
Kafka删除主题详解
Aspirin's Nest
09-05 3348
背景 在kafka的使用、测试过程中，可能老是会遇到想要删除某个主题的需求，但是由于对其内部机制不够了解，总是无法有效的删除主题。今天这篇文章详细讨论如何彻底的删除一个主题。 删除主题的前提 在kafka的broker端的配置参数中有这样一个参数：delete.topic.enable，必须将它设置为true才能够删除kafka主题。这个参数的默认值是true。如果配置为false那么删除主...
kafka之三----Controller职责之主题删除
枫火的博客
09-08 247
Controller 注册TopicDeletionListener监听器，监听ZK的/admin/delete_topics节点，定义了 TopicDeletionHandler，用它来实现对删除主题的监听，用来实际执行删除Topic的动作。
kafka主题删除_如何在Apache Kafka中删除主题
weixin_28695537的博客
12-28 436
我需要在kafka-0.8.2.2.3中删除一个主题。我已使用以下命令删除该主题：bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic DummyTopic该命令已成功执行，但是当我运行命令以列出主题时，我可以看到该主题仍然存在，并且显示 标记为“删除” 。bin/kafka-topics.sh --list --zooke...
kafka_topic创建、分区、删除管理
11-23
kafka管理工具，主要用于创建、删除、查看管理topic信息
python kafka 多线程消费者&手动提交实例
01-20
from kafka import KafkaConsumer, TopicPartition, OffsetAndMetadata from consumers.db_util import * from consumers.json_dispose import * from collections import OrderedDict threads = []
ktop:Kafka主题浏览器
05-10
Kafka主题浏览器 Ktop是Kafka的主题浏览器。 它使列出kafka集群中的所有主题变得更加容易，使用typeahead快速查找主题，并检查主题元数据。 安装 git clone https://github.com/yichen/ktop.git cd ktop/ktop go ...
Kafka源码系列教程之删除topic
08-27
主要给大家介绍了关于Kafka源码系列教程之删除topic的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
kafka kafka kafka kafka kafka
12-18
kafka kafka kafka kafka kafka
kafka全部数据清空与某一topic数据清空一过期数据清理
loveLifeLoveCoding的博客
07-10 4686
1. #停止kafka bin/kafka-server-stop.sh 2. # 删除主题 /kafka-topics.sh --zookeeper node:2181 --delete --topic test 3. # 查看kafka topic kafka-topics.sh --list --zookeeper node:2181 查看当前所有topic 比如目前需要删除test这一topic，目前kafka_2.11-1.1.1以上版本默认delete.topic.enable=true，
Kafka彻底删除topic详解
跳跃的list
05-27 2074
一、前言 严格来讲，kafka删除topic并不是很难，但是步骤比较麻烦，稍有不慎就会失败。本文就kafka删除topic的步骤做出详细解析。 二、详细步骤 ①停止kafka服务 停止kafka的所有的消费者和生产者，关闭kafka，防止在删除topic之后，程序发现topic不存在而自动创建topic ②修改配置文件 在kafka安装目录的conf目录下，修改server.proper...
Kafka删除主题topic
u011311291的博客
02-15 1120
1.关闭所有和topic相关的生产者和消费者 2.在server.properties添加设置 kafka topic可删除 delete.topic.enable=true 3.使用命令删除 bin/kafka-topics.sh --delete --zookeeper 10.49.157.173:2181 --topic topicname ...
kafka删除主题
weixin_30439031的博客
10-26 407
hdp集群默认不能删除kafka主题，如果要删除，需要在ambari上进行配置，将enable delete设置为true。 转载于:https://www.cnblogs.com/cenglinjinran/p/7737025.html
kafka删除topic数据
热门推荐
shykevin的博客
01-29 3万+
kafka删除topic数据 一、概述 生产环境中，有一个topic的数据量非常大。这些数据不是非常重要，需要定期清理。 要求：默认保持24小时，某些topic 需要保留2小时或者6小时 二、清除方式 主要有3个： 1. 基于时间 2. 基于日志大小 3. 基于日志起始偏移量 详情，请参考链接： https://b...
kafka 手动提交
最新发布
10-23
Kafka 是一个分布式的流平台，多个消费者可以同时订阅一个主题，并且每个消费者可以独立地读取主题中的消息。在 Kafka 中，消费者可以选择自动提交偏移量（offset），也可以选择手动提交偏移量。 手动提交偏移量...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值