【Kafka】Kafka consumer lag 为负数

前言

最近对Kafka 集群部署了 Kafka_exporter 监控，并集成了 granfana 图标展示。

发现 Consumer Group Lag 有时候为负数。 于是进行一番查询，并总结整理下。

具体情形

从下图可以看出，consumer group 值有时候出现负数的情况。

具体原因

1. 消息过期了（超过默认7天），已经被清理掉了，这时候topic最新的 end-offset是从0开始， 而__consumer_offset 不为0，则为负数。
2. Producer 的 offset 是通过 JMX 轮询获得的，Consumer 的 offset 是从 kafka 内的 __consumer_offsets 的 topic 中直接读取到的，很明显轮询获取 offset 比 直接从 topic 拿 offset 慢一点，也就可能会出现 Lag 计算后为负数的情况。