【备忘录】kafka常用命令维护

最新推荐文章于 2024-04-12 06:33:49 发布

轻云UC

最新推荐文章于 2024-04-12 06:33:49 发布

阅读量461

点赞数 3

分类专栏：备忘录文章标签： kafka linq 数据库

本文链接：https://blog.csdn.net/tanlintanlin/article/details/136619258

版权

备忘录专栏收录该内容

18 篇文章 0 订阅

订阅专栏

本文详细介绍了使用kafka-topics.sh和kafka-configs.sh命令行工具进行Kafka主题管理、扩容、描述、配置操作以及消费者消费的相关指令，涵盖了单个和批量操作，以及客户端设置等。

摘要由CSDN通过智能技术生成

kafka指令备忘录

单个Topic扩容
sh bin/kafka-topics.sh --bootstrap-server broker_host:port --alter --topic test_create_topic1 --partitions 4

批量扩容

将所有正则表达式匹配到的Topic分区扩容到4个
sh bin/kafka-topics.sh --topic “.*?” --bootstrap-server 172.23.248.85:9092 --alter --partitions 4

查询单个Topic
sh bin/kafka-topics.sh --topic test --bootstrap-server xxxx:9092 --describe --exclude-internal

批量查询Topic
sh bin/kafka-topics.sh --topic “.*?” --bootstrap-server xxxx:9092 --describe --exclude-internal

查询所有Topic列表
sh bin/kafka-topics.sh --bootstrap-server xxxxxx:9092 --list --exclude-internal

查询匹配Topic列表(正则表达式)

查询test_create_开头的所有Topic列表
sh bin/kafka-topics.sh --bootstrap-server xxxxxx:9092 --list --exclude-internal --topic “test_create_.*”

查询单个Topic配置(只列举动态配置)
sh bin/kafka-configs.sh --describe --bootstrap-server xxxxx:9092 --topic test_create_topic 或者 sh bin/kafka-configs.sh --describe --bootstrap-server 172.23.248.85:9092 --entity-type topics --entity-name test_create_topic

查询所有Topic配置(包括内部Topic)(只列举动态配置)
sh bin/kafka-configs.sh --describe --bootstrap-server 172.23.248.85:9092 --entity-type topics

查询kafka版本信息
sh bin/kafka-configs.sh --describe --bootstrap-server xxxx:9092 --version

opic添加/修改动态配置
–add-config
sh bin/kafka-configs.sh --bootstrap-server xxxxx:9092 --alter --entity-type topics --entity-name test_create_topic1 --add-config file.delete.delay.ms=222222,retention.ms=999999

–delete-config
sh bin/kafka-configs.sh --bootstrap-server xxxxx:9092 --alter --entity-type topics --entity-name test_create_topic1 --delete-config file.delete.delay.ms,retention.ms

添加/删除配置同时执行
sh bin/kafka-configs.sh --bootstrap-server xxxxx:9092 --alter --entity-type brokers --entity-default --add-config log.segment.bytes=788888888 --delete-config log.retention.ms

配置默认
–entity-default
sh bin/kafka-configs.sh --bootstrap-server xxxxx:9090 --alter --entity-type brokers --entity-default --add-config log.segment.bytes=88888888

生产无key消息
bin/kafka-console-producer.sh --bootstrap-server localhost:9092 --topic test --producer.config config/producer.properties

生产有key消息加上属性
–property parse.key=true
bin/kafka-console-producer.sh --bootstrap-server localhost:9092 --topic test --producer.config config/producer.properties --property parse.key=true

新客户端从头消费
–from-beginning
sh bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

正则表达式匹配topic进行消费
–whitelist
消费所有的topic
sh bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --whitelist ‘.*’

消费所有的topic
sh bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --whitelist ‘.*’ --from-beginning

消费指定topic并显示key
–property print.key=true
sh bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --property print.key=true

指定分区消费
–partition
指定起始偏移量消费–offset
sh bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --partition 0 --offset 100

给客户端命名
–group
sh bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --group test-group

添加客户端属性
–consumer.config
跟–consumer-property 一样的性质,都是添加客户端的属性,–consumer-property 的优先级大于 --consumer.config
sh bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --consumer.config config/consumer.properties