启动kafka | ./bin/kafka-server-start.sh | |
停止kafka | ./bin/kafka-server-stop.sh | |
查看topic列表 | 新版本 | ./bin/kafka-topics.sh --list --bootstrap-server testh01:9092 |
老版本 | ./bin/kafka-topics.sh --list --zookeeper localhost:2181 | |
创建topic--指定分区和副本 | 老版本 | ./bin/kafka-topics.sh --create --zookeeper localhost:2181 --topic topic_name --partitions 2 --replication-factor 2 |
新版本 | ./bin/kafka-topics.sh --create --bootstrap-server testh01:9092 --topic first1 --partitions 2 --replication-factor 2 | |
查看topic详情 | 新版本 | ./bin/kafka-topics.sh --describe --bootstrap-server testh01:9092 --topic first1 |
老版本 | ./bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic topic_name | |
删除topic | 新版本 | ./bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic topic_name |
老版本 | ./bin/kafka-topics.sh --delete --bootstrap-server testh01:9092 --topic first1 | |
启动生产者 | ./bin/kafka-console-producer.sh --broker-list testh01:9092 --topic topic_name | |
启动消费者 | 新版本 | ./bin/kafka-console-consumer.sh --bootstrap-server testh01:9092 --topic first1 --from-beginning 注意: --from-beginning代表从头消费数据. |
老版本 | ./bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic topic_name | |
消费指定topic指定partition中的数据,显示数据的key和value | ./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic_name --property print.key=true --partition 0 --from-beginning | |
查看消费者组 | 老版本 | ./bin/kafka-consumer-groups.sh --zookeeper localhost:2181 --list |
新版本 | ./bin/kafka-consumer-groups.sh --bootstrap-server testh01:9092 --list | |
查看消费者组详细信息 | 老版本 | ./bin/kafka-consumer-groups.sh --describe --zookeeper localhost:2181 --group consumer_group_name |
新版本 | ./bin/kafka-consumer-groups.sh --describe --bootstrap-server testh01:9092 --group consumer_group_name | |
查看某topic某分区的最大偏移量。默认生产者的分区分配策略是轮询 如果不指定--partitions参数,将展示所有分区的偏移量。 | ./bin/kafka-run-class.sh kafka.tools.GetOffsetShell --topic topic_name --time -1 --broker-list localhost:9092 --partitions 0 | |
检查topic isr是否完整 | 老版本 | ./bin/kafka-topics.sh --describe --zookeeper localhost:2181 | less |
新版本 | ./bin/kafka-topics.sh --describe --bootstrap-server testh01:9092 | less | |
检查缺失isr的topic | ./bin/kafka-topics.sh --describe --zookeeper localhost:2181 --under-replicated-partitions | |
检查是否有数据堆积 | ./bin/kafka-consumer-offset-checker.sh --zookeeper localhost:2181 --consumer_group_name consumer_group_name --topic topic_name | |
查看当前消费者组的offset | ./bin/kafka-consumer-offset-checker.sh -zookeeper localhost:2181 --group consumer_group_name --topic topic_name | |
增加topic分区数 | ./bin//kafka-topics.sh --zookeeper localhost:2181 --alter --topic topic_name --partition 50 | |
列出消费者组的详细信息 | ./bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper localhost:2181 --group cousumer_group_name --topic topic_name | |
启动消费者组 | ./bin/kafka-console-consumer.sh --bootstrap-server testh01:9092 --topic first1 --consumer.config ./../config/consumer.properties | |
./bin/kafka-console-consumer.sh --bootstrap-server testh01:9092 --topic first1 --group aa | ||
查看磁盘分布不均衡 (将kfk的数据存放目录设置为data*,方便查询) | du -sh /data*/kafka/log/ | |
对topic排序 | du /data01/kafka/log/* |sort -k1,1n |
CURRENT-OFFSET表示消费者当前消费到该分区的偏移量。
LOG-END-OFFSET表示当前分区最后的偏移量。
LAG表示消费者“落后”的消费进度,通过该字段来判断是否有消息积压