Kafka重要的监控指标

最新推荐文章于 2024-08-08 08:03:00 发布

紫金小飞侠

最新推荐文章于 2024-08-08 08:03:00 发布

阅读量6.2k

点赞数 2

分类专栏： # kafka

原文链接：https://www.cnblogs.com/gm-201705/p/11029237.html

版权

kafka 专栏收录该内容

120 篇文章 16 订阅

订阅专栏

本文探讨了Kafka监控中的关键性能指标，包括UnderReplicatedPartitions、BrokersSpread、BrokersSkew和BrokersLeaderSkew。深入解析了这些指标的意义及如何通过调整配置参数来解决潜在的数据倾斜和读写负载不平衡问题。

摘要由CSDN通过智能技术生成

Kafka监控:主要性能指标

Under Replicated Partitions: 在一个运行健康的集群中，处于同步状态的副本数（ISR）应该与总副本数（简称AR:Assigned Repllicas）完全相等，如果分区的副本远远落后于leader，那这个follower将被ISR池删除，随之而来的是IsrShrinksPerSec(可理解为isr的缩水情况，后面会讲)的增加。由于kafka的高可用性必须通过副本来满足，所有有必要重点关注这个指标，让它长期处于大于0的状态。

Kafka Manager几个指标含义

Brokers Spread:
Brokers Spread：看作broker使用率，如kafka集群9个broker，某topic有7个partition，则broker spread: 7 / 9 = 77%

在这里插入图片描述

Brokers Skew：partition是否存在倾斜，如kafka集群9个broker，某topic有18个partition，正常每个broker应该2个partition。若其中有3个broker上的partition数>2，则broker skew: 3 / 9 = 33%

在这里插入图片描述
Brokers Leader Skew：leader partition是否存在倾斜，如kafka集群9个broker，某topic14个partition，则正常每个broker有2个leader partition。若其中一个broker有0个leader partition，一个有4个leader partition，则broker leader skew: (4 - 2) / 14 = 14%

在这里插入图片描述

由于kafka所有读写都在leader上进行， broker leader skew会导致不同broker的读写负载不均衡，配置参数 auto.leader.rebalance.enable=true 可以使kafka每5min自动做一次leader的rebalance，消除这个问题。

另一个比较关心的问题是Lag为什么有时是负数？

Lag代表consumer的消费能力，计算公式为Lag = Consumer Offset - LogSize，Kafka Manager先从zk获取LogSize，再从kafka __consumer_offsets topic读取Offset。两步操作存在一个时间gap，因此吞吐很大的topic上会出现Offset > LogSize的情况。导致Lag负数。

如下图:

在这里插入图片描述