kafka消费异常

最新推荐文章于 2024-06-06 19:28:20 发布

nejore

最新推荐文章于 2024-06-06 19:28:20 发布

阅读量2.1k

点赞数

分类专栏：大数据技术文章标签： kafka

文章若您有一定的帮助，转发还请说明文章出处---nejore

本文链接：https://blog.csdn.net/nejore/article/details/125050198

版权

大数据技术专栏收录该内容

8 篇文章 0 订阅

订阅专栏

本文档描述了当Kafka能够正常写入数据但消费者无法获取数据的问题，包括通过检查网络、主题分片信息和元数据来定位问题的方法。建议查看kafka-topics.sh命令的输出以确认主题的分片状态，并检查后台的recovery-point-offset-checkpoint和replication-offset-checkpoint文件是否正常，以排除数据消费异常。

摘要由CSDN通过智能技术生成

现象
kafka能正常写入数据，但是无法消费到数据，无论是console还是代码都不行，不论是zk消费方式还是bootstrap-server方式都不行

处理思路
1.kafka能生产数据，那么说明网络是正常无异常
2.无法消费数据，那么说明是kafka自身可能存在问题

处理方法简介
1.查看所有主题分片信息是否正常

kafka-topics.sh  --zookeeper localhost:2181 --describe  --topic  topicName
#--topic参数指定某一个主题，不加就默认罗列所有主题信息
#此处罗列出来的分片信息可以看到leader在哪一个node上，如果出现leader:-1则就是对应的topic不能实现均衡负载了

2.查看meta信息是否正常

recovery-point-offset-checkpoint
replication-offset-checkpoint
到kafka的后台，查看以上两个配置文件是否可阅读，非乱码，如果是乱码，则会影响到所有topic无法消费
上面第一种情况中，出现leader找不到问题，只会影响到单个topic的读问题