kafka-之/bin/内部脚本的使用(包括分区重分配、消费者组消费情况、索引文件查看)
1 topic相关操作
kafka-topic.sh --create --zookeeper zkhost:2181 --partitions 1 --replication-factor 2 --topic topic_name # 创建topic
kafka-topic.sh --zookeeper zkhost:2181 --list # 列出所有的topic
kafka-topic.sh --describe #描述topic
kafka-topic.sh --delete # 删除topic
kafka-topic.sh --alter # 修改topic的分区和副本信息,但是不能删除分区
2 消费者组相关
# 查看集群正在消费的消费组的情况
kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list
>>radom_group_id
# 查看该消费者组的所有消费者对所消费topic的消费情况,滞后情况,LEO情况
kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group radom_group_id
具体查询样例如下图:
3 日志索引相关
# 查看索引文件的详情
kafka-dump-log.sh --files 00000000000000000000.index
>>>>>>>
(base) bogon:topic1-0 shufang$ kafka-dump-log.sh --files 00000000000000000000.index
Dumping 00000000000000000000.index
offset: 45 position: 4140 #代表团一个RecordBatch
offset: 90 position: 8266 #代表另一个RecordBatch
# 查看日志文件详情
kafka-dump-log.sh --files 00000000000000000000.log #1
kafka-run-class.sh kafka.tools.DumpLogSegments --files /00000000000000000000.log #2
具体查询样例如下:
4 压力测试相关
kafka压力测试、生产者、消费者性能测试操作脚本执行请参考本人博客:
https://blog.csdn.net/shufangreal/article/details/111299613
5 分区重分配相关(负载均衡操作)
优先副本选举、分区重分配、副本数据复制限流操作
这个操作可以参考本人博客:https://blog.csdn.net/shufangreal/article/details/111277503