【实战】kafka删除Topic常见异常排查思路及解决方

最新推荐文章于 2024-05-13 10:21:13 发布

2401_84104532

最新推荐文章于 2024-05-13 10:21:13 发布

阅读量580

点赞数 4

分类专栏： 2024年程序员学习文章标签： kafka 分布式

本文链接：https://blog.csdn.net/2401_84104532/article/details/137460048

版权

2024年程序员学习专栏收录该内容

189 篇文章 1 订阅

订阅专栏

有人报案

最近技术群里面有几个同学碰到了 删除Topic的问题, 怎么样也删除不掉,然后我协助排查之后,就做个记录,写篇文章,大家在碰到这类型的问题的时候应该怎么去排查

在这里插入图片描述

收集线索

报not retrying deletion 异常
版本:kafka_2.11-2.0.0
删除前在执行重分配,但是失败了,强制停止数据迁移,手动删除了节点/admin/reassign_partitions
再次重新删除提示异常Topic test is already marked for deletion
所有Broker均在线
delete.topic.enable=true
检查了每个Broker都没有副本被删除,甚至也没有被标记为--delete

调查线索

从我们收集到的线索来看,有两个突破口

not retrying deletion
Topic test is already marked for deletion

我们先看,第2个突破口,打开kafka_2.11-2.0.0源码,全局搜索关键字is already marked for deletion

在这里插入图片描述

这个表示,你已经标记了这个topic删除了, 在zk上写入了节点/amin/delete_topics/{topicName}

上面收集线索时候我们知道是它重新执行删除的时候抛出的异常,说明zk节点已经写入了,已经准备删除了;

这里没有什么问题

问题在于为什么没有执行删除呢？

所以下一个突破口就在于

Not retrying deletion of topic …

在这里插入图片描述

通过源码我们可以看到,出现了这个异常表示的是：当前这个topic不符合重试删除的条件

怎么样才符合重试删除条件？

在这里插入图片描述

在删除队列topicsToBeDeleted里面；这个队列是从zk节点/amin/delete_topics获取的数据
当前还未开始对该Topic进题删除; 判定条件是没有副本处于开始删除的状态「ReplicaDeletionStarted」(当然如果delete.topic.enable=false这条肯定满足)
主题没有被标记为不符合删除条件; 不符合删除条件的都保存在topicsIneligibleForDeletion

抽丝剥茧,接近真相

上面的3个条件,通过对方了解到

/amin/delete_topics 节点下面有数据, 线索排除
让对方查询了Deletion started for replicas这个日志,日志表示的是哪些副本状态变更成「开始删除」 ,日志有查询到如下

然后让查询Dead Replicas (%s) found for topic %s (这个表示的是哪些副本离线了) 也查询到如下在这里插入图片描述

在这里插入图片描述

从日志,和源码我们可以得出,Not retrying deletion of topic 的原因是: 删除流程已经开始,但是存在离线的或不可用的副本，哪些副本异常,从上面的Dead Replicas (%s) found for topic %s 的日志可以得知, 既然知道了原因,那么解决方案：聚焦副本为何离线了,让副本恢复正常就行了不过这里我们还有再重点说一下第3种情况

前面2个说完了,接着说一下topicsIneligibleForDeletion到底是什么,什么情况下才会放到这里面来呢？

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加V获取：vip1024b （备注Java）

最后

针对以上面试题，小编已经把面试题+答案整理好了

最新大厂必问微服务面试题汇总：SpringCloud、Boot、Dubbo

面试专题

除了以上面试题+答案，小编同时还整理了微服务相关的实战文档也可以分享给大家学习

一个人可以走的很快，但一群人才能走的更远。如果你从事以下工作或对以下感兴趣，欢迎戳这里加入程序员的圈子，让我们一起学习成长！

AI人工智能、Android移动开发、AIGC大模型、C C#、Go语言、Java、Linux运维、云计算、MySQL、PMP、网络安全、Python爬虫、UE5、UI设计、Unity3D、Web前端开发、产品经理、车载开发、大数据、鸿蒙、计算机网络、嵌入式物联网、软件测试、数据结构与算法、音视频开发、Flutter、IOS开发、PHP开发、.NET、安卓逆向、云计算

id移动开发、AIGC大模型、C C#、Go语言、Java、Linux运维、云计算、MySQL、PMP、网络安全、Python爬虫、UE5、UI设计、Unity3D、Web前端开发、产品经理、车载开发、大数据、鸿蒙、计算机网络、嵌入式物联网、软件测试、数据结构与算法、音视频开发、Flutter、IOS开发、PHP开发、.NET、安卓逆向、云计算**