Kafka常用命令

最近在整理kafka相关的资料，其中有一些常用的命令，因此记录下来。

作为一款生产者消费者模式的框架，最基本的功能就是发送数据和接收数据。

1.发送数据命令

>kafka-console-producer.sh --broker-list 192.168.70.188:9092,192.168.70.189:9092 --topic kafka-entrust-test-1

2.接收数据命令，即消费命令，包括--from-begining以及创建一个新的消费组

> kafka-console-consumer.sh --zookeeper 192.168.70.188:2181,192.168.70.189:2181 --topic kafka-entrust-test-1 --new-consumer --from-beginning

3.查看zk集群下的所有的topic命令，创建topic并指定分区和副本数

>  kafka-topics.sh --list --zookeeper 192.168.70.188:2181,192.168.70.189:2181

> kafka-topics.sh --create --topic kafka-entrust-test --replication-factor 1 --partitions 1 --zookeeper 192.168.70.188:2181,192.168.70.189:2181

4.查看某个topic的分区情况

> kafka-topics.sh --describe --zookeeper  192.168.56.175:2181,192.168.70.188:2181,192.168.70.189:2181 --topic CRM-MOT-TREASURYBONDS-REVERSE

5.消费组相关，查看所有的消费组

> bin/kafka-consumer-groups.sh --zookeeper localhost:2181 --list

6.查看某个消费组下的topic

7.offset相关：查看各个消费组消费区分的情况

> bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092,localhost:9093,localhost:9094 --topic test --time -1

8.查看当前某个topic对应的生产者生产的offset情

> bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092,localhost:9093,localhost:9094 --topic test --time -2

9.常见问题：rebalance问题

> 一般出现在同一个消费组出现新的消费者或者有消费者断开

10.无法正常消费问题

> kafka版本不同；topic所对的zk地址出错，例如包含命名空间