Kafka如何删除topic？

最新推荐文章于 2022-02-11 18:15:59 发布
最新推荐文章于 2022-02-11 18:15:59 发布
阅读量113 收藏
点赞数
文章标签： 大数据

Kafka如何删除topic？

    今天为大家带来“Kafka删除topic原理解析”，希望可以帮到那些苦于无法删除topic的朋友们。

    

前提条件： 在启动broker时候开启删除topic的开关，即在server.properties中添加：  delete.topic.enable=true

命令： bin/kafka-topics.sh --zookeeper zk_host:port/chroot --delete --topic my_topic_name

这条命令其实就是在zookeeper（假设你的chroot就是/）的/admin/delete_topics下创建一个临时节点，名字就是topic名称，比如如果执行命令：

bin/kafka-topics.sh --zookeeper zk_host:port/chroot --delete --topic test-topic

那么，命令返回后，zookeeper的/admin/delete_topics目录下会新创建一个临时节点test-topic

 

这条命令返回打印在控制台上的消息也说明了这点：

Topic test-topic is marked for deletion.

Note: This will have no impact if delete.topic.enable is not set to true.

这就是说，这条命令其实并不执行删除动作，仅仅是在zookeeper上标记该topic要被删除而已，同时也提醒用户一定要提前打开delete.topic.enable开关，否则删除动作是不会执行的。

 

那么，我们通过命令标记了test-topic要被删除之后Kafka是怎么执行删除操作的呢？ 总的流程如下图所示：

  1. Kafka controller在启动的时候会注册对于Zookeeper节点/admin/delete_topics的子节点变更监听器——上面的分析已经告诉我们，delete命令实际上就是要在该节点下创建一个临时节点，名字是待删除topic名，标记该topic是待删除的

  2. Kafka controller在启动时创建一个单独的线程，执行topic删除的操作 (由DeleteTopicsThread类实现)

  3. 线程启动时查看是否有需要进行删除的topic——假设我们是在controller启动之后执行的topic删除命令，那么该线程刚启动的时候待删除的topic集合应该就是空的

  4. 一旦发现待删除topic集合是空，topic删除线程会被挂起

  5. 这时，我们执行delete操作，删除topic： test-topic，delete命令会在/admin/delete_topics节点下创建子节点test-topic

  6. 监听器捕获到该变更，立刻触发删除逻辑

    1. 查询test-topic是否存在，不存在的话直接删除/admin/delete_topics/test-topic节点——随便删除一个不存在的topic，删除命令也只是创建/admin/delete_topics/[topicName]的节点，它不负责做存在性校验

    2. 查询一下test-topic是不是当前正在执行Preferred副本选举或分区重分配，如果是的话，肯定是不适合进行删除掉的。Controller本地会缓存当前无法进行删除的topic集合，待分区重分配完成或preferred副本选举后单独处理该集合中的topic

    3. 如何两者都不是的话说明现在可以进行删除操作，那么就恢复挂起的删除线程执行删除操作

 

而删除线程执行删除操作的真正逻辑是：

  1. 它首先会给当前所有broker发送更新元数据信息的请求，告诉这些broker说这个topic要删除了，你们可以把它的信息从缓存中删掉了

  2. 开始删除这个topic的所有分区

    1. 给所有broker发请求，告诉它们这些分区要被删除。broker收到后就不再接受任何在这些分区上的客户端请求了

    2. 把每个分区下的所有副本都置于OfflineReplica状态，这样ISR就不断缩小，当leader副本最后也被置于OfflineReplica状态时leader信息将被更新为-1

    3. 将所有副本置于ReplicaDeletionStarted状态

    4. 副本状态机捕获状态变更，然后发起StopReplicaRequest给broker，broker接到请求后停止所有fetcher线程、移除缓存，然后删除底层log文件

    5. 关闭所有空闲的Fetcher线程

  3. 删除zookeeper下/brokers/topics/test-topic节点

  4. 删除zookeeper下/config/topics/test-topic节点

  5. 删除zookeeper下/admin/delete_topics/test-topic节点

  6. 更新各种缓存，把test-topic相关信息移除出去

okay，一个topic就这么被干净得删除了~~

 

 

 

 

版权声明：本文版权由 木秀林网所有，转载请保留链接： Kafka如何删除topic？
weixin_34199335
关注
万字长文解析删除Topic流程领导再也不用担心我排查生产环境问题了(附教学视频,建议收藏!!!)
石臻臻的杂货铺(szzdzhp001)
08-15 1万+
【源码】Topic删除流程分析+常见问题 日常运维 、问题排查 怎么能够少了滴滴开源的 滴滴开源LogiKM一站式Kafka监控与管控平台 文章目录删除Topic命令相关配置源码解析1. 客户端发起删除Topic的请求2. Controller处理deleteTopics的请求3. Controller监听zk变更 执行删除Topic流程3.1 resumeDeletions 执行...
【Kafka】Kafka 删除topic、然后重建会接着上次消费位置消费吗？
最新发布
九师兄
04-02 521
今天在群里遇到这样一个问题：flink 消费2个kafka topic a,b，状态成功保存在savepoint，途中删掉一个topic a，运行一会再把这个topic a加回来，这时候这个topic a 的状态就无法读取了，会重新消费, 但是偏移量是还保存在kafka _consumer_offsets 里面，有没有办法能让他继续从之前的offset 消费呢？这个问题，我们先拆分一下。
彻底删除Kafka中的topic
Behind You！
02-09 572
1、删除kafka存储目录（server.properties文件log.dirs配置，默认为"/tmp/kafka-logs"）相关topic目录2、Kafka 删除topic的命令是：   ./bin/kafka-topics  --delete --zookeeper 【zookeeper server】  --topic 【topic name】   如果kafaka启动时加载的配置文件中...
11、Kafka 删除topic（建议关闭）
java爱分享
12-15 1630
1、 server.properties添加配置auto.create.topics.enable=false，默认true server.properties添加配置delete.topic.enable=true，默认为true 确保topic的producer和consumer客户端全部停掉 2、 删除topic kafka-topics --delete --zookeeper 127...
Kafka提示：Note: This will have no impact if delete.topic.enable is not set to true.
liu_feng_zi_的专栏
02-11 5631
问题 执行topic删除命令时，出现提示 Topic test is marked for deletion. Note: This will have no impact if delete.topic.enable is not set to true. 这条命令其实并不执行删除动作，仅仅是在zookeeper上标记该topic要被删除而已，同时也提醒用户一定要提前打开delete.topic.enable开关，否则删除动作是不会执行的 解决 在server.properties中设置delete.
深入学习Kafka：Topic的删除过程分析
12-06 732
所有博文均在个人独立博客http://blog.mozhu.org首发，欢迎访问！ 要删除Topic，需要执行下面命令： .\kafka-topics.bat --delete --zookeeper localhost:2181 --topic test 这里假设zookeeper地址...
kafka_topic创建、分区、删除管理
11-23
本文将深入探讨如何管理和操作Kafka的Topic，包括创建、查看、分区以及删除等核心概念。 **创建Topic** 在Kafka中，创建Topic通常通过配置文件或者Kafka自带的命令行工具`kafka-topics.sh`进行。例如，要创建一个名...
kafka-topic-exporter:消费Kafka主题并导出到Prometheus
05-26
java -jar kafka-topic-exporter-0.0.6-jar-with-dependencies.jar config/kafka-topic-exporter.properties 配置 启动过程时，必须将配置文件作为参数传递。 ## Kafka Exporter Properties # ...
kafka 删除topic 不成功
我还是个菜鸟
01-03 2812
利用kafka命令删除topic不成功。 kafka-topics.sh --zookeeper hadoop111:2181 --delete --topic test 原因&解决方式1. 配置文件未将delete.topic.enable=true，导致删除命令未及时生效；解决方式：第一种：找到conf目录下server.properties配置文件，修改delete.topic.enable=true，代表删除立即生效；[ssrs@hadoop111 config]$ pwd /opt/mod
kafka监控获取指定topic的消息总量示例
09-18
在Kafka监控中，获取指定topic的消息总量是一个关键任务，这对于了解系统的运行状态、消息处理效率以及故障排查至关重要。本文将通过一个Java示例详细解释如何实现这一功能。 首先，我们要明白Kafka是一个分布式流...
Topic stream is marked for deletion. Note: This will have no impact if delete.topic.enable is not se
W
04-13 1816
报错详情：删除topic失败 [root@master config]# kafka-topics.sh --delete --zookeeper master:2181 --topic stream Topic stream is marked for deletion. Note: This will have no impact if delete.topic.enable is not s...
解决kafka无法删除topic问题
江晓龙的博客
12-17 4987
1.问题描述 使用kafka命令删除某个topic之后，查看集群的topic列表时，被删除的tpoic依然存在 # /data/kafka/bin/kafka-topics.sh --delete --zookeeper zook_ip --topic system Topic system is marked for deletion. Note: This will have no impact if delete.topic.enable is not set to true. [外链图片转存失败,
This will have no impact if delete.topic.enable is not set to true以及删除kafka中的topic
微电子学与固体电子学-俞驰
06-26 5140
$KAFKA/config/server.properties中 delete.topic.enble=true 然后删除topic $ ./kafka-topics.sh --zookeeper Desktop:2181,Laptop:2182,Laptop:2183 --delete --topic my-topic Topic my-topic is marked for deletion.
Kafka彻底删除topic详解
Johnson8702的博客
12-11 3700
一、前言 严格来讲，kafka删除topic并不是很难，但是步骤比较麻烦，稍有不慎就会失败。本文就kafka删除topic的步骤做出详细解析。   二、详细步骤 ①停止kafka服务 停止kafka的所有的消费者和生产者，关闭kafka，防止在删除topic之后，程序发现topic不存在而自动创建topic ②修改配置文件 在kafka安装目录的conf目录下，修改server.pr...
kafka单机模式删除某一个topic的数据，并解决Topic xxxx is marked for deletion....报错
呆萌的代Ma
11-03 2574
首先关闭当前topic的生产者与消费者，确保topic不再被使用，否则据说会有bug 进入kafka的目录： cd ~/software/kafka_2.12-2.7.1/bin 查看当前的全部topic： ./kafka-topics.sh --list --zookeeper localhost:2181 删除这个topic： ./kafka-topics.sh --zookeeper localhost:2181 --delete --topic topic的名称 如果出现报错：Topic xx
kafka maven 依赖_kafka安装及与springboot集成
weixin_39959505的博客
11-22 961
docker 安装kafka1、下载镜像这里使用了wurstmeister/kafka和wurstmeister/zookeeper这两个版本的镜像docker pull wurstmeister/zookeeperdocker pull wurstmeister/kafka在命令中运行docker images验证两个镜像已经安装完毕2.启动启动zookeeper容器docker run -d ...
kafka 常用命令
zhuchunyan_aijia的博客
10-16 1935
https://blog.xiaoxiaomo.com/2016/05/13/Kafka-%E5%88%86%E5%B8%83%E5%BC%8F%E6%B6%88%E6%81%AF%E9%98%9F%E5%88%97/ https://www.zhangluya.com/?p=360 以下命令中localhost 都建议改成ip，否则查问题查半天啊... 消费者组理解：很多consum...
用ip+端口号怎么查看kafka的topic？
09-26
bin/kafka-console-consumer.sh --bootstrap-server <kafka服务器IP>:<kafka服务器端口号> --topic <要查看的主题名称> --from-beginning ``` 请将 `<kafka服务器IP>` 和 `<kafka服务器端口号>` 替换为您实际使用的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值