启动集群 nohup(日志文件存贮在nohup.out中) &在后台启动进程
依次在hadoop101、hadoop102、hadoop103节点上启动kafka
[root@hadoop101 kafka]$ nohup bin/kafka-server-start.sh config/server.properties &
关闭集群
[root@hadoop101 kafka]$ bin/kafka-server-stop.sh stop
Kafka命令行操作
1.查询
查询集群描述 bin/kafka-topics.sh --describe --zookeeper
topic列表查询 bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --list
topic列表查询(支持0.9版本+) bin/kafka-topics.sh --list --bootstrap-server localhost:9092
新消费者列表查询(支持0.9版本+) bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server localhost:9092 --list
新消费者列表查询(支持0.10版本+) bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list ## 显示某个消费组的消费详情(仅支持offset存储在zookeeper上的) bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper localhost:2181 --group test
显示某个消费组的消费详情(0.9版本 - 0.10.1.0 之前) bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server localhost:9092 --describe --group test-consumer-group
显示某个消费组的消费详情(0.10.1.0版本+) bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group my-group
2.发送和消费
生产者 bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
消费者 bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test
新生产者(支持0.9版本+) bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test --producer.config config/producer.properties
新消费者(支持0.9版本+) bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --new-consumer --from-beginning --consumer.config config/consumer.properties
高级点的用法 bin/kafka-simple-consumer-shell.sh --brist localhost:9092 --topic test --partition 0 --offset 1234 --max-messages 10
3.平衡leader
bin/kafka-preferred-replica-election.sh --zookeeper zk_host:port/chroot
4.kafka自带压测命令
bin/kafka-producer-perf-test.sh --topic test --num-records 100 --record-size 1 --throughput 100 --producer-props bootstrap.servers=localhost:9092
5.分区扩容
bin/kafka-topics.sh --zookeeper localhost:2181 --alter --topic topic1 --partitions 2
6.查看某个topic的最大偏移量信息
bin/kafka-run-class.sh kafka.tools.GetOffsetShell --topic native.collector --time -1 --broker-list kafka01.td.com:9092
7.查看某个topic的最小偏移量信息
bin/kafka-run-class.sh kafka.tools.GetOffsetShell --topic native.collector --time -2 --broker-list kafka01.td.com:9092