【Kafka基础】-- topic 常用管理命令汇总

最新推荐文章于 2025-04-06 12:51:16 发布

oo寻梦in记

最新推荐文章于 2025-04-06 12:51:16 发布

阅读量818

点赞数

分类专栏： Kafka 文章标签： kafka 大数据

本文链接：https://blog.csdn.net/high2011/article/details/119600865

版权

Kafka 专栏收录该内容

31 篇文章

订阅专栏

本文档详细介绍了Kafka 2.2.1-cdh6.3.0版本中常用的命令行操作，包括查看版本、创建与描述topics、列出topics、生产与消费数据、修改topic配置、查看消费组状态、删除与增加topic分区、以及使用kafka-run-class工具等。这些命令对于日常管理和监控Kafka集群至关重要。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、环境

Kafka 版本：2.2.1-cdh6.3.0
Java 版本： oracle jdk 1.8

2、常用命令

2.1、查看Kafka 版本

$ kafka-topics --version

2.2、创建 topics

$ kafka-topics --create --bootstrap-server ky-node1:9092   --replication-factor 1 --partitions 1

2.3、描述 topics

$ kafka-topics --describe --bootstrap-server ky-node1:9092  --topic test-kafka-01

2.4、查看 list

$ kafka-topics --list  --bootstrap-server ky-node1:9092

2.5、生产数据

$ kafka-console-producer --topic test-kafka-01 --broker-list ky-node1:9092

2.6、实时消费数据

$ kafka-console-consumer  --topic test-kafka-01  --bootstrap-server ky-node1:9092

2.7、指定消费位置提取数据

$ kafka-console-consumer --topic test-kafka-01 --bootstrap-server ky-node1:9092 --from-beginning  1 2 --partition 1 --max-messages 1

2.8、修改 topic 的 data 过期时间

$ kafka-configs --zookeeper ky-node1:2181 --entity-type topics  --entity-name test-kafka-01 --alter  --add-config retention.ms=86400000

2.9、查看消费组堆积数量

（1）获取所有的消费组
$ kafka-consumer-groups --bootstrap-server ky-node1:9092   --list

（2）查询某个消费组的消费情况
$ kafka-consumer-groups --bootstrap-server ky-node1:9092 --describe --group consumer_group-test-kafka-01

2.10、删除 topic(如果要彻底删除topic，则需要到znode上把元数据删掉)

$ kafka-topics --delete --topic test-kafka-01  --zookeeper ky-node1:2181

2.11、增加 topic 分区

$ kafka-topics --alter --bootstrap-server ky-node1:9092 --topic test --partitions 6

2.12、kafka-run-class 使用

(1)查看每个Partition的最新偏移量
$ kafka-run-class kafka.tools.GetOffsetShell --broker-list ky-node1:9092 --topic test  --time -1
 
(2)查看每个Partition的最早的偏移量
$ kafka-run-class kafka.tools.GetOffsetShell --broker-list ky-node1:9092 --topic test  --time -2
 
(3)查看consumer组内消费的offset
$ kafka-run-class  kafka.tools.ConsumerOffsetChecker --zookeeper ky-node1:2181  --topic test

PS：以上 shell 操作可以使用 Yahoo 开源工具 Kafka-manager 替换。