本文描述了Flink流任务在特定环境中无法消费Kafka内置topic的问题，尽管控制台可以正常消费。作者排除了多个可能的原因，如过滤数据、消费组死掉、系统消费组错误等。通过检查日志、系统消费组和Kafka集群状态，最终发现需要重建所有topic以解决此问题。在第二个场景中，由于数据过多导致磁盘满载，重建topic后再次出现类似问题，但通过再次重建所有topic解决了问题。
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
1.概述
一个流任务，在其他环境都正常，但是有个环境突然不正常了，数据消费为0.
开始立马想到是不是这个问题：【Flink】Flink source后全过滤数据导致监控数据为0 然后一会直接排除了这个，我们这个没有做限制。
然后又看看topic详情，发现topic是正常的。
然后控制台消费，是正常的，然后去流任务看看日志，发现日志也是正常的，没有任何报错。
然后根据这个文档：【FLink】Flink 消费 kafka 消费组 死掉 Marking the coordinator dead for group 造成数据重复消费 并没有在日志中看到消费组死
订阅专栏 解锁全文
541
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
