# 创建topic并指定分区和副本
./bin/kafka-topics.sh --create --zookeeper localhost:2181 --topic topic_name --partitions 2 --replication-factor 2
# 查看topic列表
./bin/kafka-topics.sh --list --zookeeper localhost:2181
# 查看某个topic的详情
./bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic topic_name
# 删除名字为first的topic
./bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic topic_name
# 启动生产者
./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic topic_name
# 启动消费者 kfk0.9之前
./bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic topic_name
# 启动消费者 kfk0.9开始
./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning --topic topic_name
注意: --from-beginning 代表从头消费数据.
# 消费指定topic指定partition中的数据,显示数据的key和value
./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic_name --property print.key=true --partition 0 --from-beginning
# 查看消费者组
./bin/kafka-consumer-groups.sh --zookeeper localhost:2181 --list 或者
./bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list
# 查看某消费者组详细信息
./bin/kafka-consumer-groups.sh --describe --zookeeper localhost:2181 --group consumer_group_name 或者
./bin/kafka-consumer-groups.sh --describe --bootstrap-server localhost:9092 --group consumer_group_name
注意:
CURRENT-OFFSET表示消费者当前消费到该分区的偏移量。
LOG-END-OFFSET表示当前分区最后的偏移量。
LAG表示消费者“落后”的消费进度,通过该字段来判断是否有消息积压。
# 查看某topic某分区的最大偏移量。默认生产者的分区分配策略是轮询。
./bin/kafka-run-class.sh kafka.tools.GetOffsetShell --topic topic_name --time -1 --broker-list localhost:9092 --partitions 0
注意,如果不指定--partitions参数,将展示所有分区的偏移量。
# 检查topic isr是否完整
./bin/kafka-topics.sh --describe --zookeeper localhost:2181 | less
# 检查缺失isr的topic
./bin/kafka-topics.sh --describe --zookeeper localhost:2181 --under-replicated-partitions
# 检查是否有数据堆积
./bin/kafka-consumer-offset-checker.sh --zookeeper localhost:2181 --consumer_group_name consumer_group_name --topic topic_name
# 查看当前消费者组的offset
./bin/kafka-consumer-offset-checker.sh -zookeeper localhost:2181 --group consumer_group_name --topic topic_name
# 增加topic分区数
./bin//kafka-topics.sh --zookeeper localhost:2181 --alter --topic topic_name --partition 50
# 列出消费者组的详细信息
./bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper localhost:2181 --group cousumer_group_name --topic topic_name
# 查看磁盘分布不均衡 (将kfk的数据存放目录设置为data*,方便查询)
du -sh /data*/kafka/log/
# 对topic排序
du /data01/kafka/log/* |sort -k1,1n
Kafka常用命令
最新推荐文章于 2024-08-13 22:37:06 发布