kafka查询指定消费Group未消费的数据

最近线上出现kafka生产者发送成功了，但是消费者没有拉取到，出现这种现象是偶发的，就是在几分钟内有几个消息没消费到，后面就没再出现过。

首先先去卡夫卡上确认是否有消息堆积

下载kafka(不是src版的哦):http://kafka.apache.org/downloads

下载完毕后，解压到指定的文件夹中

1、查询topic，进入kafka目录：

./bin/kafka-topics.sh --list --zookeeper 172.16.331.120:2181

2.查询消费者组列表

./bin/kafka-consumer-groups.sh --bootstrap-server 172.16.331.120:11000 --list

查询结果

3.查询指定的组各topic消息消费情况

./bin/kafka-consumer-groups.sh --bootstrap-server 172.16.331.120:11000 --describe --group op-order-core

查询结果

标记解释： 

TOPIC	topic名字
PARTITION	分区id
CURRENT-OFFSET	当前已消费的条数
LOG-END-OFFSET	总条数
LAG	未消费的条数
CONSUMER-ID	消费id
HOST	主机ip
CLIENT-ID	客户端id

 

 

 

 

 

 

 

 

 

经过上面查询过后没发现有消息积压，所以怀疑为网络抖动造成消息实际上没有发送成功，代码在没接收到成功消息时，自认为为已成功。

再继续深入挖掘...