kafka常用命令

启动kafka

./bin/kafka-server-start.sh

停止kafka

./bin/kafka-server-stop.sh

查看topic列表

新版本

./bin/kafka-topics.sh --list --bootstrap-server testh01:9092

老版本

./bin/kafka-topics.sh --list --zookeeper localhost:2181

创建topic--指定分区和副本

老版本

./bin/kafka-topics.sh --create --zookeeper localhost:2181 --topic topic_name --partitions 2 --replication-factor 2

新版本

 ./bin/kafka-topics.sh --create --bootstrap-server testh01:9092 --topic first1 --partitions 2 --replication-factor 2

查看topic详情

新版本

./bin/kafka-topics.sh --describe --bootstrap-server testh01:9092 --topic first1

老版本

./bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic topic_name

删除topic

新版本

./bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic topic_name

老版本

./bin/kafka-topics.sh --delete --bootstrap-server testh01:9092 --topic first1

启动生产者

./bin/kafka-console-producer.sh --broker-list testh01:9092 --topic topic_name

启动消费者

新版本

./bin/kafka-console-consumer.sh --bootstrap-server testh01:9092  --topic first1 --from-beginning

注意: --from-beginning代表从头消费数据.

老版本

./bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic topic_name

消费指定topic指定partition中的数据,显示数据的key和value

./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic_name --property print.key=true --partition 0 --from-beginning

查看消费者组

老版本

./bin/kafka-consumer-groups.sh --zookeeper localhost:2181 --list

新版本

./bin/kafka-consumer-groups.sh --bootstrap-server testh01:9092 --list

查看消费者组详细信息

老版本

./bin/kafka-consumer-groups.sh --describe --zookeeper localhost:2181 --group consumer_group_name

新版本

./bin/kafka-consumer-groups.sh --describe --bootstrap-server testh01:9092 --group consumer_group_name

查看某topic某分区的最大偏移量。默认生产者的分区分配策略是轮询

如果不指定--partitions参数,将展示所有分区的偏移量。

./bin/kafka-run-class.sh kafka.tools.GetOffsetShell --topic topic_name --time -1 --broker-list localhost:9092 --partitions 0

检查topic isr是否完整

老版本

./bin/kafka-topics.sh --describe --zookeeper localhost:2181 | less

新版本

./bin/kafka-topics.sh --describe --bootstrap-server testh01:9092 | less

检查缺失isr的topic

./bin/kafka-topics.sh --describe --zookeeper localhost:2181 --under-replicated-partitions

检查是否有数据堆积

./bin/kafka-consumer-offset-checker.sh --zookeeper localhost:2181 --consumer_group_name consumer_group_name --topic topic_name

查看当前消费者组的offset

./bin/kafka-consumer-offset-checker.sh  -zookeeper localhost:2181 --group consumer_group_name --topic topic_name

增加topic分区数

./bin//kafka-topics.sh --zookeeper localhost:2181 --alter --topic topic_name --partition 50

列出消费者组的详细信息

./bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper localhost:2181 --group cousumer_group_name --topic topic_name

启动消费者组

./bin/kafka-console-consumer.sh --bootstrap-server testh01:9092 --topic first1 --consumer.config ./../config/consumer.properties

./bin/kafka-console-consumer.sh --bootstrap-server testh01:9092 --topic first1 --group aa

查看磁盘分布不均衡 (将kfk的数据存放目录设置为data*,方便查询)

du -sh /data*/kafka/log/

对topic排序

du /data01/kafka/log/* |sort -k1,1n

CURRENT-OFFSET表示消费者当前消费到该分区的偏移量。

LOG-END-OFFSET表示当前分区最后的偏移量。

LAG表示消费者“落后”的消费进度,通过该字段来判断是否有消息积压

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值