kafka监控获取logSize, offset, lag等信息

最新推荐文章于 2024-07-23 00:47:06 发布

HD_XB

最新推荐文章于 2024-07-23 00:47:06 发布

阅读量1.3w

点赞数 4

分类专栏： kafka 文章标签： kafka kafka监控 lag

本文链接：https://blog.csdn.net/hd_xb/article/details/80509591

版权

本文介绍如何在SpringBoot项目中，通过Zookeeper获取Kafka的offset和logSize来计算消费信息的lag。当从特定链接无法获取offset时，选择直接从Zookeeper读取，提供获取groupId下所有topic的offset值的方法。

摘要由CSDN通过智能技术生成

由于项目需要，需要查看kafka消费信息lag（lag = logSize - offset）

参考https://www.aliyun.com/jiaocheng/775267.html 的实现方式在有些场景无法获取offset的值（具体原因暂不知晓后续研究下）

因此决定直接从zookeeper中取offset值

一、springboot项目添加依赖

<dependency>
  <groupId>org.springframework.kafka</groupId>
  <artifactId>spring-kafka</artifactId>
</dependency>

二、相关代码

import java.io.IOException;
import java.text.MessageFormat;
import java.util.ArrayList;
import java.util.Arrays;
import java.util.Collections;
import java.util.Comparator;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
import java.util.Map.Entry;
import java.util.Properties;
import java.util.concurrent.CountDownLatch;

import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.common.PartitionInfo;
import org.apache.kafka.common.TopicPartition;
import org.apache.zookeeper.KeeperException;
import org.apache.zookeeper.WatchedEvent;
import org.apache.zookeeper.Watcher;
import org.apache.zookeeper.ZooKeeper;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

public class KafkaUtil {
	private static Logger logger = LoggerFactory.getLogger(KafkaUtil.class);
	private static final int ZOOKEEPER_TIMEOUT = 30000;
	private final CountDownLatch latch = new CountDownLatch(