kafka常用命令

启动集群 nohup(日志文件存贮在nohup.out中) &在后台启动进程
依次在hadoop101、hadoop102、hadoop103节点上启动kafka
[root@hadoop101 kafka]$ nohup bin/kafka-server-start.sh config/server.properties &
关闭集群
[root@hadoop101 kafka]$ bin/kafka-server-stop.sh stop

Kafka命令行操作
1.查询

查询集群描述 bin/kafka-topics.sh --describe --zookeeper

topic列表查询 bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --list

topic列表查询（支持0.9版本+） bin/kafka-topics.sh --list --bootstrap-server localhost:9092

新消费者列表查询（支持0.9版本+） bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server localhost:9092 --list

新消费者列表查询（支持0.10版本+） bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list ## 显示某个消费组的消费详情（仅支持offset存储在zookeeper上的） bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper localhost:2181 --group test

显示某个消费组的消费详情（0.9版本 - 0.10.1.0 之前） bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server localhost:9092 --describe --group test-consumer-group

显示某个消费组的消费详情（0.10.1.0版本+） bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group my-group

2.发送和消费

生产者 bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

消费者 bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test

新生产者（支持0.9版本+） bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test --producer.config config/producer.properties

新消费者（支持0.9版本+） bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --new-consumer --from-beginning --consumer.config config/consumer.properties

高级点的用法 bin/kafka-simple-consumer-shell.sh --brist localhost:9092 --topic test --partition 0 --offset 1234 --max-messages 10

3.平衡leader
bin/kafka-preferred-replica-election.sh --zookeeper zk_host:port/chroot

4.kafka自带压测命令
bin/kafka-producer-perf-test.sh --topic test --num-records 100 --record-size 1 --throughput 100 --producer-props bootstrap.servers=localhost:9092

5.分区扩容
bin/kafka-topics.sh --zookeeper localhost:2181 --alter --topic topic1 --partitions 2

6.查看某个topic的最大偏移量信息
bin/kafka-run-class.sh kafka.tools.GetOffsetShell --topic native.collector --time -1 --broker-list kafka01.td.com:9092
7.查看某个topic的最小偏移量信息
bin/kafka-run-class.sh kafka.tools.GetOffsetShell --topic native.collector --time -2 --broker-list kafka01.td.com:9092