KAFKA数据倾斜查看offset脚本

KAFKA集群数据倾斜导致的某一个节点磁盘写满了,为了检查每个topic下分区得offset,使用kafka-run-class kafka-tools-getoffset查询

第一步

首先使用

kafka-topics --list --zookeeper 127.0.0.1:2181

复制所有的topic到文件夹kafka_topic中

第二步

#!/bin/bash
for i in cat /root/wqy_test/kafka_topic
do
  echo '--------------------------------------------------------' >> /root/wqy_test/kafka_offset
  echo "topic: $i">> /root/wqy_test/kafka_offset
  kafka-run-class kafka.tools.GetOffsetShell --broker-list 127.0.0.1:9092 --topic $i >> /root/wqy_test/kafka_offset
done

第三步查看kafka_offset文件

像下面这种topic就是有严重得数据倾斜,告知业务人员让他们检查一下

此方法判断数据倾斜不是很准确,可能存在offset倾斜但是已经被kafka删除策略清理过了,总之是一个判断的条件之一