【kafka问题】记一次kafka消费者未接收到消息问题

本文记录了一次Kafka消费者未能实时消费消息的问题,分析了如何不从头消费来提高效率,并通过`kafka-consumer-groups.sh`命令检查消费组状态,发现消息已被消费,但实际应用仍报告未消费。内容包括Kafka消息监听、消费组描述及解决思路。
摘要由CSDN通过智能技术生成

在这里插入图片描述

这里会把所有的kafaka接受到的消息(还存在磁盘上未被删除的)都打印出来; 这里太多了;我们加上一个 |grep 关键词 过滤一下就可以知道我们发的消息有没有发送成功了

这里打印出来的都是 在/data/tmp-log(这里路径是配置的)里面落盘的消息,只要落盘了就肯定发送成功了;

1.2 不从头消费 实时消费消息监听

如果消息太多了,消费的速度会很慢,那可以不从头消费,只有去掉 参数-from-beginning 就行了;

这个命令执行之后会一直在监听消息中;这个时候 重新发一条消息 查看一下是否消费到了刚刚发的消息;如果收到了,说明发送消息这一块是没有问题的;

查询kafka消息是否被消费


要知道某条消息是否被消息,首先得知道是查被哪个消费组在消费; 比如 B的项目配置的kafka的group.id(这个是kafka的消费组属性)b-consumer-group ; 那么我们去看看 这个消费者组的消费情况

bin/kafka-consumer-groups.sh --bootstrap-server xxx1:9092,xxx2:9092,xxx3:9092 --describe --group b-consumer-group

这样查询出来的结果就是 b-consumer-group消费组消费了哪些Topic; 如果想过滤某个TOPIC;可以加上|grep TOPIC名称 过滤一下;

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值