kafka监听topic消费_kafka监控之topic的lag情况监控

需求描述：lag(滞后)是kafka消费队列性能监控的重要指标，lag的值越大，表示kafka的堆积越严重。本篇文章将使用python脚本+influxdb+grafana的方式对kafka的offset、logsiz和lag这三个参数进行监控，并以图形化的方式进行展现。

架构描述：使用python收集kafka的相关信息并存储到influxdb里；配置grafana，将influxdb里的数据以图形化的方式展现出来。

一，准备工作

1，kafka，influxdb，grafana的安装(在此不详细描述，默认为阅读文章的各位对这三样工具的使用是熟悉的)

2，查询kafka消费状态的命令/kafka_2.11-0.10.1.0/bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --group group1 --topic topicname1 --zookeeper zoo1:2181,zoo2:2181,zoo3:2181,zoo4:2181,zoo5:2181。本篇文章也将以此条命令输出的信息作为基础编写脚本。

#/kafka_2.11-0.10.1.0/bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --group group1 --topic topicname1 --zookeeper zoo1:2181,zoo2:2181,zoo3:2181,zoo4:2181,zoo5:2181Group Topic Pid Offset logSize Lag Owner

group1 topicname10 978337806 978390228 52422none

group1 topicname11 978337840 978390295 5245