实时计算运维相关

实时计算kafka运维

kafka后台常用查询接口

切换到kafka后台安装目录

查看所有topic
./kafka-topics.sh --list --zookeeper xx.xx.xx.xx:2181

查看所有groupid
./kafka-consumer-groups.sh --new-consumer --bootstrap-server xx.xx.xx.xx:9092 --list

显示某个消费组的消费详情（支持0.9版本+）这个当前消费的offset是Unknown，好像是因为日志过期了，没查到怎么恢复
0.8版本的消费程序用 从zk取
./kafka-consumer-offset-checker.sh --zookeeper xx.xx.xx.xx:2181 --topic xxx --group xxxx --broker-info
查出来的offset为 最新offset logSize为消费到的offset lag为消费积压

./kafka-consumer-groups.sh --new-consumer --bootstrap-server xx.xx.xx.xx:9092 --describe --group cis_test 查询结果如下图 从broker取

查看topic最小offset
./kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list xx.xx.xx.xx:9092 -topic xxx --time -2

查看topic最大offset
./kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list xx.xx.xx.xx:9092 -topic xxx --time -1

按时间戳查offset
./kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list xx.xx.xx.xx:9092 -topic xxx --time 1595492638000