Kafka学习之监控

参考文档：https://kafka.apache.org/documentation.html#monitoring

 

Kafka使用Yammer Metrics来报告server和client的众多metric。还可以使用其他的插件来跟你的监控系统连接起来，比如https://cwiki.apache.org/confluence/display/KAFKA/JMX+Reporters中提到的ganglia和Graphite等。默认使用的是JMX，最简单的观察方式是使用jconsole连接你的server或者client，就可以看到所有可用的metric。我自己是使用Zabbix跟JMX对接，监测一些metric，并进行报警，以下metric是值得关注的：

 

描述：所有的topic的消息速率(消息数/秒)

Mbean名："kafka.server":name="AllTopicsMessagesInPerSec",type="BrokerTopicMetrics"

正常的值：

 

描述：所有的topic的流入数据速率(字节/秒)

Mbean名："kafka.server":name="AllTopicsBytesInPerSec",type="BrokerTopicMetrics"

正常的值：

 

描述：producer或Fetch-consumer或Fetch-follower的请求速率(请求次数/秒)

Mbean名："kafka.network":name="{Produce|Fetch-consumer|Fetch-follower}-RequestsPerSec",type="RequestMetrics"

正常的值：

 

描述：所有的topic的流出数据速率(字节/秒)

Mbean名： "kafka.server":name="A