kafka 命令行工具常用命令行操作

1. 数据命令

1.1 启动kafka服务

• zookeeper：主要设置clientPort（使用kafka自带的zookeeper）

    bin/zookeeper-server-start.sh config/zookeeper.properties
    
    bin/zookeeper-server-start.sh config/zookeeper.properties
  

• start kafka server:

    bin/kafka-server-start.sh config/server.properties
    
    bin/kafka-server-start.sh config/server.properties
  

zookeeper.connect:zookeeper连接设置ip:port

broker.id:启动kafka的broker的id

1.2 创建topic

bin/kafka-topics.sh --create --zookeeper HOST:2181 --replication-factor 1 --partitions 1 --topic TOPIC

1.3 向topic中发送数据

bin/kafka-console-producer.sh --broker-list HOST:9092 --topic TOPIC

1.4 开启一个消费端

bin/kafka-console-consumer.sh --bootstrap-server HOST:9092 --topic TOPIC --from-beginning

2. check命令

2.1 查看kafka topic列表

使用–list参数

bin/kafka-topics.sh --zookeeper host:2181 --list

2.2 查看kafka特定topic的详情

使用–topic与–describe参数

bin/kafka-topics.sh --zookeeper host:2181 --topic your_topic --describe

2.3 查看consumer group列表

使用–list参数

查看consumer group列表有新、旧两种命令，分别查看新版(信息保存在broker中)consumer列表和老版(信息保存在zookeeper中)consumer列表，因而需要区分指定bootstrap–server和zookeeper参数：

bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server host:9092 --list


bin/kafka-consumer-groups.sh --zookeeper host:2181 --list

2.4 查看特定consumer group 详情

使用–group与–describe参数
同样根据新/旧版本的consumer，分别指定bootstrap-server与zookeeper参数:

bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server HOST:9292 --group YOUR_GROUP_ID --describe


bin/kafka-consumer-groups.sh --zookeeper HOST:2181 --group YOUR_GROUP_ID --describe

2.5 查看指定topic上每个partition的offset

是用于查看指定topic上相应分区的消息数，并不是consumer消费的偏移量

bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list host:9092 --topic topic