pip3 install kafka-python
多台
#创建主题 3个分区 两个副本
[root@zk-kafka001 kafka_2.11-2.1.1]# bin/kafka-topics.sh --zookeeper 192.168.194.144:2181,192.168.194.150:2181,192.168.194.151:2181/kafkagroup --create --topic laiyaya--replication-factor 2 --partitions 3
列出集群里所有主题的详细信息。
[root@zk-kafka001 kafka_2.11-2.1.1]# bin/kafka-topics.sh --zookeeper 192.168.194.144:2181,192.168.194.150:2181,192.168.194.151:2181/kafkagroup --describe
列出集群里的所有主题。
[root@zk-kafka001 kafka_2.11-2.1.1]# bin/kafka-topics.sh --zookeeper 192.168.194.144:2181,192.168.194.150:2181,192.168.194.151:2181/kafkagroup --list
列出集群里特定主题的详细信息。
[root@zk-kafka001 kafka_2.11-2.1.1]# bin/kafka-topics.sh --zookeeper 192.168.194.144:2181,192.168.194.150:2181,192.168.194.151:2181/kafkagroup --describe --topic laiyaya
删除一个叫作my-topic的主题。
[root@zk-kafka001 kafka_2.11-2.1.1]# bin/kafka-topics.sh --zookeeper 192.168.194.144:2181,192.168.194.150:2181,192.168.194.151:2181/kafkagroup --delete --topic saobitopic
列出新版本的所有消费者群组。(–new-consumer参数可以不加)
[root@zk-kafka002 kafka_2.11-2.1.1]# bin/kafka-consumer-groups.sh --bootstrap-server 192.168.194.144:9092,192.168.194.150:9092,192.168.194.151:9092 --list
获取新版本消费者群组testgroup的详细信息。(负载均衡)
[root@zk-kafka002 kafka_2.11-2.1.1]# bin/kafka-consumer-groups.sh --bootstrap-server 192.168.194.144:9092,192.168.194.150:9092,192.168.194.151:9092 --describe --group laiyaya__group
有两个消费者
已经消费的偏移量 CURRENT-OFFSET 是 209829
总共的是 LOG-END-OFFSET 是209829
还没有消费的偏移量 LAG 是0
消费者组 是由哪一个消费者正在消费这个topic的(78b92aa2-848e-4bed-808b-6265d67342a8_/172.22.185.12),只有一个消费者正在消费他这一个分区
查看某一个topic对应的消息数量。
[root@zk-kafka001 kafka_2.11-2.1.1]# bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 192.168.194.144:9092,192.168.194.150:9092,192.168.194.151:9092 --topic laiyaya --time -1
bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 192.168.194.150:9092 --topic laiyaya --time -1
laiyaya的2号分区 0条数据
laiyaya的1号分区 0条数据
laiyaya的0号分区 0条数据
在144服务器,控制台生产者:向主题 laiyaya 生成两个消息。
[root@zk-kafka001 kafka_2.11-2.1.1]# bin/kafka-console-producer.sh --broker-list 192.168.194.151:9092 --topic laiyaya
151服务器,控制台消费者:从主题 laiyaya 获取消息。
[root@zk-kafka001 kafka_2.11-2.1.1]# bin/kafka-console-consumer.sh --bootstrap-server 192.168.194.151:9092 --topic laiyaya --from-beginning
查看log日志片段的内容,显示查看日志的内容
[root@zk-kafka002 kafka_2.11-2.1.1]# bin/kafka-run-class.sh kafka.tools.DumpLogSegments --files /usr/local/zpy/kafkalogs/laiyaya-0/00000000000000000000.log --print-data-log
查看消费者组在consumer-offset的偏移量:
bin/kafka-simple-consumer-shell.sh --topic __consumer_offsets --partition 1 --broker-list 172.21.50.162:9092 --formatter "kafka.coordinator.GroupMetadataManager\$OffsetsMessageFormatter"
单台
1、创建topic 有3个分区
[root@zk-kafka002 kafka]# bin/kafka-topics.sh --create --zookeeper xxx.xxx.xxx.xxx:2181,xxx.xxx.xxx.131:2181 --replication-factor 1 --partitions 3 --topic mytopic
注:topic一旦创建,partition只能增加,不能减少
3、删除topic
kafka-topics.sh --zookeeper zk.server --delete --topic test
4、查看topic列表
kafka-topics.sh --zookeeper zk.server --list
5、查看topic详细信息
kafka-topics.sh --zookeeper zk.server --topic test --describe
6、查看某个topic的message数量
./bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 47.52.199.51:9092 --topic consumer-send
[root@bogon bin]# ./kafka-consumer-groups.sh --bootstrap-server 192.168.xx.xx:9092 --list
kafka里面
[root@bogon bin]# ./kafka-consumer-groups.sh --bootstrap-server 192.168.xx.xx:9092 --group nihao --describe
从消费者读取数据
./kafka-console-consumer.sh --bootstrap-server 192.168.10.8:9092 --topic LOG_clienterror --from-beginning
CURRENT-OFFSET:当前消费偏移量
LOG-END-OFFSET:末尾偏移量
参考文章
https://www.cnblogs.com/wangzhuxing/p/10127497.html#_label3_0
https://blog.csdn.net/qq_33689414/article/details/81046502