Kafka 常用命令行工具

创建主题kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic zjwblog

查看所有主题kafka-topics.sh --zookeeper localhost:2181 --list

查看指定主题的详细信息kafka-topics.sh --zookeeper localhost:2181 --topic zjwblog --describe

命令行生产者kafka-console-producer.sh --broker-list localhost:9092 --topic zjwblog

行消费者消费所有历史数据kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic zjwblog --from-beginning

消费者从最新处开始消费（历史数据不关心）kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic zjwblog

消费者从最新处开始消费（历史数据不关心），并指定消费者组kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic zjwblog --group zjwblog-group

列出所有的消费组kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list

查看kafka消息队列特定组的消费积压情况（主要看CURRENT-OFFSET、LOG-END-OFFSET的值，判断Kafka堆积情况）kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group g1

查看指定topic上每个partition的offsetkafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic zjwblog

例子：

# 创建一个主题
kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 2 --partitions 3 --topic zjwblog
# 启动一个生产者
kafka-console-producer.sh --broker-list localhost:9092 --topic zjwblog
# 启动一个消费者组（3个成员），会占用三个终端
kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic zjwblog --group zjwblog-group
kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic zjwblog --group zjwblog-group
kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic zjwblog --group zjwblog-group
# 启动一个消费者默认组（1个成员），占用一个终端
kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic zjwblog
# 查看当前消费者组
kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list

# 在生产者中写入数据，观察消费者组情况