kafka 常用命令

推荐文章：

• kafka对单分区重设偏移量
• kafka 命令行 生产消费数据，查看偏移量，修改偏移量
• kafka日常操作（包含修改分区，副本数）

查看topic信息

• 查看topic （老版）

./kafka-topics.sh --list --zookeeper localhost:2181

• 查看topic （新版）

 ./kafka-topics.sh --list --bootstrap-server localhost:9092

查看topic描述

• 查看topic详情 （老版）

./kafka-topics.sh --describe --zookeeper 172.18.0.99:2181 --topic stat_event

• 查看topic详情 （新版）

./kafka-topics.sh --bootstrap-server 172.18.0.99:9092  --describe --topic t1

查询消费组详情

• 查询消费组详情

./kafka-consumer-groups.sh --bootstrap-server 172.18.0.99:9092 --describe --group g1

删除消费组

• 删除消费组

./kafka-consumer-groups.sh --bootstrap-server 172.18.0.99:9092 --delete --group g1

• 手动指定偏移量消费

./kafka-consumer-groups.sh  --bootstrap-server 172.18.0.99:9092 --group consumer --reset-offsets --topic tm_messages:1 --to-offset 2 --execute

创建topic

• 老版

./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic my-kafka-topic

• 新版

./kafka-topics.sh --create --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1 --topic my-kafka-topic

删除topic

• 第一步：
  1、先从原数据存放位置删除数据
  2、在执行 如下语句,就会别标记为删除,默认7天后自动删除

./kafka-topics.sh  --delete --topic my-kafka-topic --zookeeper localhost:2181

• 第二步：如果先立即删除,再去zookeeper下删除元数据信息

rmr /brokers/topics/talk 

• 第三步：再去zookeeper下删除, 至此全部删除

rmr /admin/delete_topics/talk

生产者

• 单机版

./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic my-kafka-topic

• 集群版

./bin/kafka-console-producer.sh --broker-list node1:9092,node2:9092,node3:9092 --topic my-kafka-topic

消费者

• 单机版消费 ( --from-beginning 指从头开始消费) 老版

./bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test-topic1 --from-beginning

• 集群版消费（老版）

./bin/kafka-console-consumer.sh --zookeeper node1:2181,node2:2181,node3:2181 --topic my-kafka-topic 

• 从头消费（新版）

./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic my-kafka-topic --from-beginning

• 指定分组进行消费（新版）

./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic my-kafka-topic --group g1