kafak 常用管理命令

pip3 install kafka-python

多台

#创建主题 3个分区 两个副本

[root@zk-kafka001 kafka_2.11-2.1.1]# bin/kafka-topics.sh --zookeeper 192.168.194.144:2181,192.168.194.150:2181,192.168.194.151:2181/kafkagroup --create --topic laiyaya--replication-factor 2 --partitions 3

列出集群里所有主题的详细信息。

[root@zk-kafka001 kafka_2.11-2.1.1]# bin/kafka-topics.sh --zookeeper 192.168.194.144:2181,192.168.194.150:2181,192.168.194.151:2181/kafkagroup --describe

列出集群里的所有主题。

[root@zk-kafka001 kafka_2.11-2.1.1]# bin/kafka-topics.sh --zookeeper 192.168.194.144:2181,192.168.194.150:2181,192.168.194.151:2181/kafkagroup  --list

列出集群里特定主题的详细信息。

[root@zk-kafka001 kafka_2.11-2.1.1]# bin/kafka-topics.sh --zookeeper 192.168.194.144:2181,192.168.194.150:2181,192.168.194.151:2181/kafkagroup --describe  --topic laiyaya

删除一个叫作my-topic的主题。

[root@zk-kafka001 kafka_2.11-2.1.1]# bin/kafka-topics.sh --zookeeper 192.168.194.144:2181,192.168.194.150:2181,192.168.194.151:2181/kafkagroup --delete  --topic saobitopic

列出新版本的所有消费者群组。（–new-consumer参数可以不加）

[root@zk-kafka002 kafka_2.11-2.1.1]# bin/kafka-consumer-groups.sh  --bootstrap-server  192.168.194.144:9092,192.168.194.150:9092,192.168.194.151:9092 --list

获取新版本消费者群组testgroup的详细信息。(负载均衡)

[root@zk-kafka002 kafka_2.11-2.1.1]# bin/kafka-consumer-groups.sh --bootstrap-server 192.168.194.144:9092,192.168.194.150:9092,192.168.194.151:9092 --describe --group laiyaya__group

有两个消费者

已经消费的偏移量 CURRENT-OFFSET 是 209829
总共的是 LOG-END-OFFSET 是209829
还没有消费的偏移量 LAG 是0

消费者组 是由哪一个消费者正在消费这个topic的(78b92aa2-848e-4bed-808b-6265d67342a8_/172.22.185.12),只有一个消费者正在消费他这一个分区

查看某一个topic对应的消息数量。

[root@zk-kafka001 kafka_2.11-2.1.1]# bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 192.168.194.144:9092,192.168.194.150:9092,192.168.194.151:9092 --topic laiyaya --time -1

bin/kafka-run-class.sh  kafka.tools.GetOffsetShell --broker-list 192.168.194.150:9092 --topic laiyaya --time -1

laiyaya的2号分区 0条数据
laiyaya的1号分区 0条数据
laiyaya的0号分区 0条数据

在144服务器，控制台生产者:向主题 laiyaya 生成两个消息。

[root@zk-kafka001 kafka_2.11-2.1.1]# bin/kafka-console-producer.sh --broker-list 192.168.194.151:9092 --topic laiyaya

151服务器，控制台消费者:从主题 laiyaya 获取消息。

[root@zk-kafka001 kafka_2.11-2.1.1]# bin/kafka-console-consumer.sh --bootstrap-server 192.168.194.151:9092 --topic laiyaya --from-beginning

查看log日志片段的内容,显示查看日志的内容

[root@zk-kafka002 kafka_2.11-2.1.1]# bin/kafka-run-class.sh kafka.tools.DumpLogSegments --files /usr/local/zpy/kafkalogs/laiyaya-0/00000000000000000000.log --print-data-log

查看消费者组在consumer-offset的偏移量:

bin/kafka-simple-consumer-shell.sh --topic __consumer_offsets --partition 1 --broker-list 172.21.50.162:9092  --formatter "kafka.coordinator.GroupMetadataManager\$OffsetsMessageFormatter"

单台

1、创建topic 有3个分区

[root@zk-kafka002 kafka]# bin/kafka-topics.sh --create --zookeeper xxx.xxx.xxx.xxx:2181,xxx.xxx.xxx.131:2181 --replication-factor 1 --partitions 3 --topic mytopic

注：topic一旦创建，partition只能增加，不能减少

3、删除topic

kafka-topics.sh --zookeeper zk.server --delete --topic test 

4、查看topic列表

kafka-topics.sh --zookeeper zk.server --list

5、查看topic详细信息

kafka-topics.sh --zookeeper zk.server --topic test --describe

6、查看某个topic的message数量

./bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 47.52.199.51:9092 --topic consumer-send

[root@bogon bin]# ./kafka-consumer-groups.sh  --bootstrap-server 192.168.xx.xx:9092 --list

kafka里面

[root@bogon bin]# ./kafka-consumer-groups.sh  --bootstrap-server 192.168.xx.xx:9092 --group nihao --describe

从消费者读取数据

./kafka-console-consumer.sh --bootstrap-server 192.168.10.8:9092 --topic LOG_clienterror --from-beginning

CURRENT-OFFSET:当前消费偏移量

LOG-END-OFFSET：末尾偏移量

参考文章
https://www.cnblogs.com/wangzhuxing/p/10127497.html#_label3_0
https://blog.csdn.net/qq_33689414/article/details/81046502