Kafka常用操作命令

1.启动Kafka，

   其中">>/dev/null"表示将日志信息输出到"黑洞"，

   其中"2>&1"表示将错误信息和前面的日志信息一样，也输出到"黑洞"，

   末尾的"&"表示以后台方式启动kafka：

bin/kafka-server-start.sh config/server.properties >>/dev/null 2>&1 &

2.启动生产者，往"accesslog"这个Topic中发送消息：

bin/kafka-console-producer.sh --topic accesslog --broker-list localhost:9092 

3.启动消费者，从"accesslog"这个Topic中消费消息，

  其中"--from-beginning"为可选参数，表示要从头消费消息：

bin/kafka-console-consumer.sh --topic accesslog --from-beginning --zookeeper localhost:2181 

4.创建一个名为"mytopic"的Topic：

bin/kafka-topics.sh --create --topic mytopic --replication-factor 2 --partitions 3 --zookeeper localhost:2181 

5.查看"mytopic"这个Topic的详细信息：

bin/kafka-topics.sh --describe --topic mytopic --zookeeper localhost:2181

6.查看所有的Topic列表：

bin/kafka-topics.sh --list --zookeeper localhost:2181

7.kafka集群批量启动脚本：

　　说明：通过"start-kafka.sh"脚本，读取"kafka/bin"目录下"slave"文件中配置的主机列表，并通过一个while循环，用ssh分别启动各个主机上的kafka服务器。

[root@hadoop01 bin]# cat start-kafka.sh 
cat /root/apps/kafka/bin/slave | while read line
do
{
  echo $line
  ssh $line "source /etc/profile;nohup kafka-server-start.sh /root/apps/kafka/config/server.properties >/dev/null 2>&1 &"
}&
wait
done
[root@hadoop01 bin]# cat slave 
hadoop01
hadoop02
hadoop03

 

8.查看topic的详细信息  

./kafka-topics.sh -zookeeper 127.0.0.1:2181 -describe -topic testKJ1  

9、为topic增加副本  

./kafka-reassign-partitions.sh -zookeeper 127.0.0.1:2181 -reassignment-json-file json/partitions-to-move.json -execute  

10、创建topic 

./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic testKJ1  

11、为topic增加partition  

./bin/kafka-topics.sh –zookeeper 127.0.0.1:2181 –alter –partitions 20 –topic testKJ1  

12、kafka生产者客户端命令  

./kafka-console-producer.sh --broker-list localhost:9092 --topic testKJ1  

13、kafka消费者客户端命令  

./kafka-console-consumer.sh -zookeeper localhost:2181 --from-beginning --topic testKJ1  

14、下线broker  

./kafka-run-class.sh kafka.admin.ShutdownBroker --zookeeper 127.0.0.1:2181 --broker #brokerId# --num.retries 3 --retry.interval.ms 60  

shutdown broker  

15、删除topic  

./kafka-run-class.sh kafka.admin.DeleteTopicCommand --topic testKJ1 --zookeeper 127.0.0.1:2181  

./kafka-topics.sh --zookeeper localhost:2181 --delete --topic testKJ1  

16、查看consumer组内消费的offset  

./kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper localhost:2181 --group test --topic testKJ1

 

原文地址： 

https://www.cnblogs.com/jun1019/p/6256139.html

https://blog.csdn.net/code52/article/details/50935849