kafka监控linux脚本,kafka监控维度分析

一、监控目标

1.当系统可能或处于亚健康状态时及时提醒，预防故障发生

2.报警提示 a.短信方式 b.邮件

二、监控内容

2.1 机器监控

Kafka服务器指标

CPU Load

Disk IO

Memory

磁盘log.dirs目录下数据文件大小,要有定时清除策略

2.2 JVM监控

主要监控Java的 GC time(垃圾回收时间)，JAVA的垃圾回收机制对性能的影响比较明显

2.3 Kafka系统监控

1、Kafka总体监控

zookeeper上/XXX/broker/ids目录下节点数量

leader 选举频率

2、Kafka Broker监控

kafka集群中Broker列表,broker运行状况,包括node下线，活跃数量

Broker是否提供服务

数据流量  流入速度，流出速度 (message / byte)

ISR 收缩频率

3、Kafka Controller监控

controller存活数目

4、Kafka Producer监控

producer数量，排队情况

请求响应时间

QPS/分钟

5、Kafka Consumer监控

consumer队列中排队请求数

请求响应时间

最近一分钟平均每秒请求数

6、Topic监控

数据量大小；

offset

数据流量 流入速度，流出速度 (message / byte)

3.监控指标

3.1 JVM监控

a.通过JMX获取GC time

b.jvm full gc次数

c.通过jmx监控kafka相关参数

3.2 kafka系统监控

监控数据获取方式

1、生存节点信息可以从zookeeper获取

2、除生存节点 和

a、Broker是否提供服务。

b、Topic数据量大小，

c、Topic的offset 外，其他数据都可以通过JMX获取

阅读(1526) | 评论(0) | 转发(0) |