Kafka消费不到数据/消费者没有反应

最新推荐文章于 2024-06-15 10:03:44 发布

hxc2101

最新推荐文章于 2024-06-15 10:03:44 发布

阅读量1.8w

点赞数 11

本文链接：https://blog.csdn.net/hxc2101/article/details/114444765

版权

在执行kafka测试时遇到消费者无法接收数据的问题。解决方法是通过zookeeper客户端删除brokers/topics下的__consumer_offsets节点，然后重启程序，消费者即可正常消费。此问题可能由于__consumer_offsets残留导致。

摘要由CSDN通过智能技术生成

问题引言：

在做下面这个kafka测试案例时，发现消费者端接收不到数据，完全没有反应

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

解决方式

进入zookeeper客户端，将brokers节点下的topics节点下的__consumer_offsets删除就可（具体原因可参考这篇文章：kafka消费不到数据排查记录）

删除方式：

1.在启动zookeeper的前提下，打开./zkCli.sh

2.查看要删除的节点 ls /brokers/topics 并用 deleteall /brokers/topics/__consumer_offsets 对其进行删除就可（有关删除命令可以参考这篇文章：kafka删除topic时提示 Command not found rmr）

然后再重启程序就可以正常消费了

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

hxc2101

关注关注

11
点赞
踩
47

收藏

觉得还不错? 一键收藏
9
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

【大数据】Flink + Kafka 实现通用流式数据处理详解

congge

10-27

7601

Flink + Kafka 实现通用流式数据处理详解

Kafka 读取不到数据，没有报错信息

weixin_34015566的博客

12-05

6164

2019独角兽企业重金招聘Python工程师标准>>> ...

9 条评论您还未登录，请先登录后发表或查看评论

[Kafka错误]------使用Kafka的kafka-console-consumer.sh不能消费消息

每天进步一点点

03-20

1万+

1.前言使用Ambari搭建的kafka集群，在使用kafka-console-producer.sh的时候，指定--broker-list的值需要从server.properties中查看listeners=PLAINTEXT://的值。同理，使用kafka-console-consumer.sh的时候，指定--bootstrap-server也需要从server.properties中查看......

Kafka消费不到数据

wildding的博客

05-16

3937

方法1：登录bin/zkCli.sh 然后删除kafka中/brokers/topics/__consumer_offsets 节点。看logdir的目录，换个目录或者删除目录中的数据，本机是 rm -rf datas/* (方法2：停止zookeeper： zk.sh stop 查看conf/zoo.cfg的。：zookeeper报错日志可以在 logs里xxxx.out中查看)：kafka报错日志可以在 logs里 server.log查看)1.首先停止kafka： kafka.sh stop。

Kafka消息能正常发送，但是无法消费问题排查

热门推荐

k393393的博客

06-20

2万+

发送端接收端问题采用内置的zookeeper，发送端发送数据，接收端能够接收数据但是采用外置的zookeeper，发送端发送数据，接收端一直接收不到数据解决：先判断主题是否一致，如果一致就在关闭kafka ./kafka-server-stop.sh ../config/server.properties 修改一下配置，确保这些配置已加上，不要用localhost，在listene...

kafka消费不到数据问题

qq_42315376的博客

02-27

8334

kafka消费者不能正常消费的原因与解决方法

mysql分区

lion的博客

10-24

308

一、查看mysql是否支持分区 MySQL5.1开始支持分区 1.MySQL5.6以及之前版本 show variables like '%partition%'; YES 则支持分区 2.MySQL5.7以后 show plugins; 如下则支持分区二、分区详解 1.分区表分类： RANGE分区、LIST分区、HASH分区、KEY分区、复合分区 2.分区表限制：分区键必须包含在表的所有主键、唯一键中。 MYSQL只能在使用分区函数的列本身进行比较时才能过滤分区，而不能根据表达式的值去过滤

Kafka消费者无法消费数据，解决

qq_51651655的博客

08-24

8861

解决Kafka消费者无法消费数据问题

[kafka] 消费没有数据的问题解决Group coordinator lookup failed: The coordinator is not available

07-07

2367

[kafka] 消费没有数据的问题解决Group coordinator lookup failed: The coordinator is not available

Kafka锦集(一)：Kafka的介绍 | 下载和安装 | kafka服务无法关闭 | bin/kafka-server-stop.sh无效 | 总结的很详细

血煞长虹的专栏

10-15

4658

本文详细介绍了Kafka的下载和安装，简述zk的安装部署，kafka启动时不识别主界面的解决方案。

Springboot最简单的实战介绍整合kafka-生产者与消费者（消息推送与订阅获取

hello_1231的博客

04-10

4248

前言你的努力，终将成就无可替代的自己本科毕业后就一直从事Java开发的工作，和多数人一样，最开始从事crud的工作，看着自己的同学一步一步往上走，自己还是在原地踏步，说实话这不是自己想要的状态。一年半后开始沪漂生活，又摸爬滚打了一年半，薪资基本上在16K。疫情在家开始了系统的学习，目的就是为了进大厂，得到更多的学习机会，也是为了自己到所谓的“35岁”之后，也能在老家恰一口好饭。努力也没有白费，8个月时间的系统性学习成功上岸Alibaba，直接涨薪14K，下面分享一下我的学习指南，面试真题以及个人

关于kafka-console-consumer.sh消费者的一些思考

weixin_43423377的博客

04-14

2800

(人物设定初步了解kafka的我) 我司现在有三台kafka服务器作为一个集群需求是我写了一个监听器去监听活动失败的情况,如果活动失败则调用一个统计接口做数据统计我需要从失败事件的随路数据中取一些数据,做一些判断. 现在我想从集群中看一下失败事件中的随路数据是否完整正确于是,我xshell连接上了三台服务器并且运行以下命令 ./kafka-console-consumer.sh --bootstrap-server broker1IP:9092 --topic topicnam..

kafka消费不到数据的原因

Jasonhada的博客

11-18

2669

kafka能正常生产数据，但是为什么消费不到？经过排查原因在与group_id不对导致！

Kafka消费不到数据的特殊情况

weixin_30877755的博客

11-13

1483

我大约是把kafka消费不到数据的特殊情况都经历了一遍了吧= =、 kafka消费不到数据的原因，首先检查配置之类的，如是否设置了group.id，对应的topic是否正确等等，这些不多说。下面是我遇到的几种kafka消费不到数据的情况： 1.多分区，单例消费者的情况，只消费到一个分区，应多加几个消费者，不能用单例，直接subscribe的话，rebalance机制启动，手动的话如下 ...

kafka可以正常启动但消费不到数据

Zqq15919158003的博客

07-10

552

Kafka消费不到数据_kafka消费不到数据也不报错_wildding的博客-CSDN博客

【kafka消息查询】kafka消费不到数据，写入端伙伴说他写入了，而且没有报错，如何来切割是写入的问题还是消费的问题

weixin_40293999的博客

08-07

701

kafka消费不到消息，如何查询界定是生产端的问题还是消费端的问题，特别是场景上下文已经丢失了的时候。kafka参考文档。

springboot——ActiveMQ

WannaRunning的博客

11-22

328

JMS中有两种消息模型：一种是点对点（point to point， queue），另一种是发布/订阅（publish/subscribe，topic）。通俗地讲，这两者之间的别就是一条消息被发布后是否能被消费者重复消费。点对点：Queue 生产者生产一条消息发送到queue中，某个在坚挺的消费者从queue中取出，消费消息，并告知MQ服务这条消息被消费了，queue中不再有存储，至此...

kafka消费不到数据

08-30

kafka消费不到数据的问题可能有几种可能性。首先，可能是发生了重平衡。当消费者组中的消费者发生变动时，比如有新的消费者加入或者旧的消费者离开，就会触发重平衡。在重平衡期间，消费者无法消费数据，直到平衡完成。另一个可能的原因是Group coordinator查找失败。当消费者尝试加入消费者组时，会去查找Group coordinator，如果查找失败，就无法正常消费数据。此外，如果你的kafka使用了华为mrs kafka，并且对于消费者进行了权限管理，可能会出现消费者没有访问权限的情况。当消费者没有被授权访问某些Topic时，尝试消费数据时会出现消费失败的情况。错误信息可能包含"Not authorized to access topics"。针对这些问题，你可以尝试以下解决方法： 1. 等待重平衡完成，确保消费者组中的消费者稳定。 2. 检查Group coordinator是否可用，确保消费者可以成功加入消费者组。 3. 检查消费者的权限设置，确保消费者被授予了正确的Topic访问权限。通过解决以上可能的问题，你应该能够解决kafka消费不到数据的情况。123 #### 引用[.reference_title] - *1* *3* [关于与kafka的爱恨交织](https://blog.csdn.net/qq_40634730/article/details/125257125)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* [[kafka] 消费没有数据的问题解决Group coordinator lookup failed: The coordinator is not available](https://blog.csdn.net/u010321872/article/details/131602411)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]