Kafka监测

最新推荐文章于 2024-07-30 11:28:03 发布

jazon@

最新推荐文章于 2024-07-30 11:28:03 发布

阅读量452

点赞数

分类专栏：消息队列文章标签： kafka

本文链接：https://blog.csdn.net/Xjzzon/article/details/109561854

版权

本文深入探讨Kafka的监控，包括非同步分区监测、集群和主机问题、broker及主题分区的度量指标、Java虚拟机和操作系统监控、客户端（生产者和消费者）监控、流量配额、延时指标和端到端监控。通过对各种指标的分析，帮助确保Kafka集群的稳定性和性能。

摘要由CSDN通过智能技术生成

Kafka监测

非同步分区监测

如果集群里多个非同步分区数量一直不变，应该是broker离线了。诊断问题前，试着运行默认的副本选举。如果数量恒定，但是没有broker离线或者数量波动，则需要根据非同步分区的情况进行分析，检查其共性，kafka-topic.sh --zookeeper zoo1.example.com:2181/kafka-cluster --describe。如果没有发现哪个broker级别的问题，那么就是整个集群的问题了。

集群级别的问题

一般分为两类:不均衡的负载和资源过度消耗。负载不均衡问题:可以分析每个broker的分区数量，首领分区的数量，主题流入字节速率，主题流入消息速率,然后借助kafka工具移动分区。资源过度消耗问题:可以对一些操作系统级别的度量指标进行监控，如CPU使用，网络输入吞吐量，网络输出吞吐量，磁盘平均等待时间，磁盘使用百分比。