KAFKA使用总结之: 常用命令

KAFKA 常用命令

以下信息均来源于网络，这只是做个总结和笔记：

#创建topic

bin/kafka-topics.sh --create --zookeeper 127.0.0.1:2181 --replication-factor 1 --partitions 1 --topic test 

#查看创建的topic

bin/kafka-topics.sh -list -zookeeper 127.0.0.1:2181 

#topic信息
bin/kafka-topics.sh --zookeeper localhost:2181 --describe

#生产消息测试

bin/kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic test 

this is test #例如，输入前边的数据后回车就在kafka里边产生了一条数据。

#消费消息测试

bin/kafka-console-consumer.sh --zookeeper 127.0.0.1:2181 --topic test --from-beginning #旧版本
bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic test  --from-beginning #新版

#查看topic分片信息: test 为topic名称

bin/kafka-topics.sh --describe --zookeeper 127.0.0.1:2181 --topic test

#获取组（查看有那些消费者 logstash-docker 就是这个查出来的）

bin/kafka-consumer-groups.sh --zookeeper localhost:2181 --list

#查看topic是否有数据堆积。（看LAG堆积数量）

bin/kafka-consumer-groups.sh --zookeeper localhost:2181 --group group2 --describe

#查看consumer group列表，使用–list参数，下边两条分别用于新旧版本：

bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server 127.0.0.1:9092 --list
bin/kafka-consumer-groups.sh --zookeeper 127.0.0.1:2181 --list

#查看特定consumer group 详情，使用–group与–describe参数 ，同样有新旧区别 （group2 为消费者）：

bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server 127.0.0.1:9092 --describe --group group2 #
bin/kafka-consumer-groups.sh --zookeeper 127.0.0.1:2181 --group group2 --describe  #新版本用这个

#修改已有的topic的数据保存时间

bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 -topic topicName --alter --config retention.ms=2678400000