Kafka常用命令

# 创建topic并指定分区和副本
./bin/kafka-topics.sh --create --zookeeper localhost:2181 --topic topic_name --partitions 2 --replication-factor 2

# 查看topic列表
./bin/kafka-topics.sh --list --zookeeper localhost:2181

# 查看某个topic的详情
./bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic topic_name

# 删除名字为first的topic
./bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic topic_name

# 启动生产者
./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic topic_name

# 启动消费者 kfk0.9之前
./bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic topic_name

# 启动消费者 kfk0.9开始
./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning --topic topic_name
注意: --from-beginning 代表从头消费数据. 

# 消费指定topic指定partition中的数据，显示数据的key和value
./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic_name --property print.key=true --partition 0 --from-beginning

# 查看消费者组
./bin/kafka-consumer-groups.sh --zookeeper localhost:2181 --list 或者 
./bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list

# 查看某消费者组详细信息
./bin/kafka-consumer-groups.sh --describe --zookeeper localhost:2181 --group consumer_group_name 或者 
./bin/kafka-consumer-groups.sh --describe --bootstrap-server localhost:9092 --group consumer_group_name 
注意: 
CURRENT-OFFSET表示消费者当前消费到该分区的偏移量。
LOG-END-OFFSET表示当前分区最后的偏移量。
LAG表示消费者“落后”的消费进度，通过该字段来判断是否有消息积压。

# 查看某topic某分区的最大偏移量。默认生产者的分区分配策略是轮询。
./bin/kafka-run-class.sh kafka.tools.GetOffsetShell --topic topic_name --time -1 --broker-list localhost:9092 --partitions 0
注意，如果不指定--partitions参数，将展示所有分区的偏移量。

# 检查topic isr是否完整
./bin/kafka-topics.sh --describe --zookeeper localhost:2181 | less

# 检查缺失isr的topic
./bin/kafka-topics.sh --describe --zookeeper localhost:2181 --under-replicated-partitions

# 检查是否有数据堆积
./bin/kafka-consumer-offset-checker.sh --zookeeper localhost:2181 --consumer_group_name consumer_group_name --topic topic_name 

# 查看当前消费者组的offset
./bin/kafka-consumer-offset-checker.sh  -zookeeper localhost:2181 --group consumer_group_name --topic topic_name

# 增加topic分区数
./bin//kafka-topics.sh --zookeeper localhost:2181 --alter --topic topic_name --partition 50 

# 列出消费者组的详细信息
./bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper localhost:2181 --group cousumer_group_name --topic topic_name

# 查看磁盘分布不均衡 (将kfk的数据存放目录设置为data*,方便查询)
du -sh /data*/kafka/log/ 

# 对topic排序
du /data01/kafka/log/* |sort -k1,1n