kafka常用命令

已于 2023-12-19 11:04:03 修改
阅读量6.8k 收藏 7
点赞数 5
分类专栏： kafka 文章标签： kafka 分布式
于 2023-06-11 20:57:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45476104/article/details/131157495
版权

kafka常用命令

查看kafka集群topic数量

./kafka-topics.sh --list --zookeeper ip:2181

示例：

[root@master bin]# ./kafka-topics.sh --list --zookeeper 127.0.0.1:2181
__consumer_offsets
send_test

查看topic元数据信息

./kafka-topics.sh --describe --zookeeper ip:2181 --topic topic_name

示例：

[root@master bin]# ./kafka-topics.sh --describe --zookeeper 127.0.0.1:2181 --topic send_test
Topic:send_test	PartitionCount:1	ReplicationFactor:2	Configs:
	Topic: send_test	Partition: 0	Leader: 8	Replicas: 8,9	Isr: 8,9

topic分区扩容

./kafka-topics.sh --zookeeper ip:2181 --topic topic_name --alter --partitions 4
示例:

[root@master bin]# ./kafka-topics.sh --zookeeper 127.0.0.1:2181  --topic send_test --alter --partitions 4
WARNING: If partitions are increased for a topic that has a key, the partition logic or ordering of the messages will be affected
Adding partitions succeeded!
[root@master bin]# 
[root@master bin]# 
[root@master bin]# 
[root@master bin]# ./kafka-topics.sh --describe --zookeeper 127.0.0.1:2181 --topic send_test
Topic:send_test	PartitionCount:4	ReplicationFactor:2	Configs:
	Topic: send_test	Partition: 0	Leader: 8	Replicas: 8,9	Isr: 8,9
	Topic: send_test	Partition: 1	Leader: 9	Replicas: 9,10	Isr: 9,10
	Topic: send_test	Partition: 2	Leader: 10	Replicas: 10,8	Isr: 10,8
	Topic: send_test	Partition: 3	Leader: 8	Replicas: 8,10	Isr: 8,10

topic创建

./kafka-topics.sh --zookeeper ip:2181 --create --topic topic_name --partitions 16 --replication-factor 2

示例:

[root@master bin]#  ./kafka-topics.sh --zookeeper 127.0.0.1:2181 --create --topic test_create  --partitions 1  --replication-factor 1
WARNING: Due to limitations in metric names, topics with a period ('.') or underscore ('_') could collide. To avoid issues it is best to use either, but not both.
Created topic "test_create".
[root@master bin]# ./kafka-topics.sh --list --zookeeper 127.0.0.1:2181
__consumer_offsets
send_test
test_create

修改topic数据过期时间

./kafka-configs.sh --alter --zookeeper ip:2181 --entity-type topics --entity-name topic_name --add-config retention.ms=86400000

示例:

[root@master bin]# ./kafka-topics.sh --describe --zookeeper 127.0.0.1:2181 --topic send_test
Topic:send_test	PartitionCount:4	ReplicationFactor:2	Configs:
	Topic: send_test	Partition: 0	Leader: 8	Replicas: 8,9	Isr: 8,9
	Topic: send_test	Partition: 1	Leader: 9	Replicas: 9,10	Isr: 9,10
	Topic: send_test	Partition: 2	Leader: 10	Replicas: 10,8	Isr: 10,8
	Topic: send_test	Partition: 3	Leader: 8	Replicas: 8,10	Isr: 8,10
[root@master bin]# 
[root@master bin]# ./kafka-configs.sh --alter --zookeeper 127.0.0.1:2181 --entity-type topics --entity-name send_test --add-config retention.ms=86400000
Completed Updating config for entity: topic 'send_test'.
[root@master bin]# 
[root@master bin]# ./kafka-topics.sh --describe --zookeeper 127.0.0.1:2181 --topic send_test
Topic:send_test	PartitionCount:4	ReplicationFactor:2	Configs:retention.ms=86400000
	Topic: send_test	Partition: 0	Leader: 8	Replicas: 8,9	Isr: 8,9
	Topic: send_test	Partition: 1	Leader: 9	Replicas: 9,10	Isr: 9,10
	Topic: send_test	Partition: 2	Leader: 10	Replicas: 10,8	Isr: 10,8
	Topic: send_test	Partition: 3	Leader: 8	Replicas: 8,10	Isr: 8,10
[root@master bin]#

查看数据偏移量

./kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list ip:9092 --topic topic_name --time -1

示例:

[root@master bin]# ./kafka-run-class.sh  kafka.tools.GetOffsetShell --broker-list 127.0.0.1:9092 --topic send_test --time -1
send_test:2:0
send_test:1:0
send_test:3:0
send_test:0:7

查看kafka集群中所有消费组

./kafka-consumer-groups.sh --bootstrap-server ip:9092 --list

示例:

[root@master bin]#  ./kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --list
Note: This will only show information about consumers that use the Java consumer API (non-ZooKeeper-based consumers).
console-consumer-47912

查看消费组积压消费信息

./kafka-consumer-groups.sh --bootstrap-server ip:9092 --describe --group group_name

示例:

[root@master bin]#  ./kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --list
Note: This will only show information about consumers that use the Java consumer API (non-ZooKeeper-based consumers).

console-consumer-41354
[root@master bin]# ./kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --describe --group console-consumer-41354
Note: This will only show information about consumers that use the Java consumer API (non-ZooKeeper-based consumers).
TOPIC                          PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG        CONSUMER-ID                                       HOST                           CLIENT-ID
send_test                      0          7               7               0          consumer-1-c4c90a77-4f77-47c5-b35f-a395f651e739   /192.168.122.129               consumer-1
send_test                      1          0               0               0          consumer-1-c4c90a77-4f77-47c5-b35f-a395f651e739   /192.168.122.129               consumer-1
send_test                      2          0               0               0          consumer-1-c4c90a77-4f77-47c5-b35f-a395f651e739   /192.168.122.129               consumer-1
send_test                      3          0               0               0          consumer-1-c4c90a77-4f77-47c5-b35f-a395f651e739   /192.168.122.129               consumer-1
[root@master bin]#

生成者生产消息

./kafka-console-producer.sh --broker-list 172.16.0.240:9092 --topic send_test

示例:

[root@master bin]#  ./kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic send_test
1234
5678

消费者消费

./kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic send_test

示例:

[root@master bin]# ./kafka-console-consumer.sh  --bootstrap-server 127.0.0.1:9092 --topic send_test
1234
5678

版本说明。1

  1. 以上命令在 kafka版本0.10.2.1下亲测有效 ↩︎

05、Kafka 操作命令
baidu_41907361的博客
05-10 2038
（1）创建主题–bootstrap-server：设置kafka执行节点–topic：主题名称–partitions：设置分区数，可以用于并发消费。–replication-factor：设置副本因子，数量不能大于kafka节点数。（2）查看主题（3）在我们配置的文件夹下，就可以看到topic对应的文件夹，其中 0,1,2,3是因为我们指定的partitions为4，创建了4个分区。
第一章 Kafka常用命令
最新发布
小蚯蚓的博客
03-13 166
第一章 Kafka常用命令
kafka命令
csdnzhang365的博客
04-23 242
创建主题（4个分区，2个副本） bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 2 --partitions 4 --topic test 查询集群描述 bin/kafka-topics.sh --describe --zookeeper topic列表查询 bin/kafka-to...
kafka操作命令
ma1476684479的博客
06-27 830
1.从topic中读取数据通过grep设置关键词过滤保存到文件中  bash kafka-console-consumer.sh --zookeeper mfcrawl01.eastus.cloudapp.azure.com:2181/kafka08  --topic DS.crawl.output.mf.azure.foreign --from-beginning | grep keyword...
Kafka常用命令合集
09-18
### Kafka常用命令合集 #### 1. KafkaServer管理 **1.1 启动KafkaServer** 启动Kafka Server 的命令如下： ```sh bin/kafka-server-start.sh config/server.properties ``` 其中 `config/server.properties` ...
Kafka常用命令
金州饿霸吃不饱的博客
01-13 806
注意：因为此kafka是加了认证的，必须先读取认证文件里的密码才能查看topics, 如下是认证文件的代码：--command-config ./config/scram_common.properties。该命令通过 Kafka CLI 工具连接到指定的 Kafka 集群（该命令通过 Kafka CLI 工具连接到指定的 Kafka 集群（该命令通过 Kafka CLI 工具连接到指定的 Kafka 集群（该命令通过 Kafka CLI 工具连接到指定的 Kafka 集群（的 Topic 中生产消息。
kafka常用命令_kafka命令
2401_89678804的博客
01-12 793
bin/kafka-consumer-groups.sh --bootstrap-server $nodes --group $groupname --reset-offsets --all-topics --to-earliest --execute # 重设消费者组位移(待验证)bin/kafka-console-consumer.sh --bootstrap-server $nodes --topic $topicName --from-beginning # 使用消费者。
KAFKA 常用命令
Stefan的博客
08-28 452
kafka常用命令
kafka的常用命令集锦
12-22
kafka的常用命令集锦
Kafka 常用命令
qq_42544599的博客
05-25 9007
kafka常用命令 1.TopicCommand 1.1.Topic创建 bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 3 --partitions 3 --topic test 相关可选参数 参数 描述 例子 –bootstrap-server 指定连接到的kafka服务; 如果有这个参数,则 --zookeeper可以不需要 –bootstrap-server
kafka运维命令大全
别来沾边儿
07-06 516
相关可选参数支持正则表达式匹配Topic来进行删除,只需要将topic 用双引号包裹起来 例如: 删除以为开头的topic;删除任意Topic (慎用)zk方式(不推荐)kafka版本 >= 2.2 支持下面方式（推荐）单个Topic扩容批量扩容 (将所有正则表达式匹配到的Topic分区扩容到4个) 正则表达式的意思是匹配所有; 您可按需匹配PS: 当某个Topic的分区少于指定的分区数时候,他会抛出异常;但是不会影响其他Topic正常进行;相关可选参数 | 参数 |描述 |例子| |--|--|--| |
kafka命令行操作
sj天问的博客
11-13 118
1）查看当前服务器中的所有topic [atguigu@hadoop102 kafka]$ bin/kafka-topics.sh --zookeeper hadoop102:2181 --list 2）创建topic [atguigu@hadoop102 kafka]$ bin/kafka-topics.sh --zookeeper hadoop102:2181 --create --replication-factor 3 --partitions 1 --topic first 选项说明：
Kafka 的一些命令
Little_fxc的博客
09-03 166
kafka-topics.sh 创建主题 bin/kafka-topics.sh --create --topic ${主题} --replication-factor 2 --partitions 2 --zookeeper localhost:2181 # 参数 # --create 创建 # --topic 主题 # --replication-factor # --partitions 分区数 # --zookeeper
查看kafka topic消息
09-04
查看Kafka主题（Topic）的消息通常涉及以下几个步骤： 1. **确认连接**: 首先，你需要有一个连接到Kafka集群的客户端。这可以是Kafka的命令行工具kafka-console-consumer，或者是第三方库如Confluent Kafka Java Client。 2. **指定配置**: 使用`kafka-console-consumer`时，需要提供一些基本配置，如 brokers地址、需要消费的主题名、分区偏移量等。例如，你可以指定从最近的offset开始消费。 ``` $ kafka-console-consumer --bootstrap-server <brokers> --topic <topic-name> ``` 3. **查看实时数据**: 当你运行这个命令后，它会实时地显示该主题中的消息。每一行代表一条消息，包含键值对和时间戳信息。 4. **高级监控**: 如果需要更详细的监控或者持久化消费，可以考虑使用Kafka的命令行工具如`kafka-topics.sh`查看元数据，或者通过Kafka管理界面或第三方工具（如Kafka Connect、Kafka Manager）进行查询。 5. **生产者视角**: 对于生产者来说，可以使用`kafka-console-producer`查看发送的消息是否成功到达了相应的主题。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值