kafka之运维命令

最新推荐文章于 2024-09-04 17:46:31 发布

jannals

最新推荐文章于 2024-09-04 17:46:31 发布

阅读量1k

点赞数

分类专栏： # Kafka实战文章标签： kafka kafka运维

本文链接：https://blog.csdn.net/usagoole/article/details/82587624

版权

本文介绍了Kafka的运维命令，包括查看版本、管理主题、生产与消费数据、集群监控及压测等操作。如创建、删除主题，查看消费组信息，以及进行消息积压的统计等。

摘要由CSDN通过智能技术生成

文章目录

kafka版本声明
常用命令
- 查看kafka版本
- 主题
- 生产
- 消费
- 集群
- 压测命令

kafka版本声明

使用的是kafka 0.10.0.1版本

常用命令

查看kafka版本

# find / -name \*kafka_\* | head -1 | grep -o '\kafka[^\n]*'

主题

创建Topic、Partition(5个)，replication(1个)

# bin/kafka-topics.sh --create --zookeeper zookeeper:2181 --replication-factor 1 --partitions 5 --topic testTopic

查看Topic最大(最小)的offset,--time,-1表示最大，-2表示最小

 # bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 -topic topic-A --time -1

topic-A:2:60
topic-A:4:60
topic-A:1:60
topic-A:3:60
topic-A:0:60

列出集群中所有的topic

# bin/kafka-topics.sh --zookeeper zookeeper:2181 --list

查看Topic明细

 # bin/kafka-topics.sh --describe --zookeeper zookeeper:2181 --topic testTopic

Topic:testTopic	  PartitionCount:5	ReplicationFactor:1 Configs:
Topic: testTopic	Partition: 0	Leader: 1  Replicas: 1 Isr: 1
Topic: testTopic	Partition: 1	Leader: 1  Replicas: 1 Isr: 1
Topic: testTopic	Partition: 2	Leader: 1  Replicas: 1 Isr: 1
Topic: testTopic	Partition: 3	Leader: 1  Replicas: 1 Isr: 1
Topic: testTopic	Partition: 4	Leader: 1  Replicas: 1 Isr: 1

修改topic参数,partitions个数只能被增加不能减少。如果一定要减少partitions个数，只能删除整个主题，重新建立
```
 # bin/kafka-topics.sh --zookeeper zookeeper:2181 --partition 6 --topic testTopic --alter
```
删除Topic，broker的delete.topic.enable=true才可以删除，否则删除topic的请求会被忽略.删除topic会丢弃topic里所有数据。
```
# bin/kafka-topics.sh --zookeeper zookeeper:2181 --delete --topic topicAgroup
```

生产

生产数据

# bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test --producer.config config/producer.properties

消费

# bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --new-consumer --from-beginning --consumer.config config/consumer.properties

# bin/kafka-simple-consumer-shell.sh --brist localhost:9092 --topic test --partition 0 --offset 1234  --max