Kafka 命令行操作

1 主题命令行操作

1. 查看操作主题命令参数

   [azula@hadoop102 kafka]$ bin/kafka-topics.sh 
   

   参数	描述
   –bootstrap-server <String: server toconnect to>	连接的 Kafka Broker 主机名称和端口号。
   –topic <String: topic>	操作的 topic 名称。
   –create	创建主题。
   –delete	删除主题。
   –alter	修改主题。
   –list	查看所有主题。
   –describe	查看主题详细描述。
   –partitions <Integer: # of partitions>	设置分区数。
   –replication-factor<Integer: replication factor>	设置分区副本。
   –config <String: name=value>	更新系统默认的配置。

2. 查看当前服务器中的所有 topic

   [azula@hadoop102 kafka]$ bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --list 
   

3. 创建first topic

   [azula@hadoop102 kafka]$ bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --create --partitions 1 --replication-factor 3 --topic first
   

   选项说明：
   –topic 定义topic 名
   –replication-factor 定义副本数
   –partitions 定义分区数

4. 查看first 主题的详情

   [azula@hadoop102 kafka]$ bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --describe --topic first 
   

5. 修改分区数（注意：分区数只能增加，不能减少）

   [azula@hadoop102 kafka]$ bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --alter --topic first --partitions 3 
   

6. 再次查看first 主题的详情

   [azula@hadoop102 kafka]$ bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --describe --topic first 
   

7. 删除topic

   [azula@hadoop102 kafka]$ bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --delete --topic first 
   

2 生产者命令行操作

1. 查看操作生产者命令参数

   [azula@hadoop102 kafka]$ bin/kafka-console-producer.sh 
   

   参数	描述
   –bootstrap-server <String: server toconnect to>	连接的 Kafka Broker 主机名称和端口号。
   –topic <String: topic>	操作的 topic 名称。

2. 发送消息

   [azula@hadoop102 kafka]$ bin/kafka-console-producer.sh --bootstrap-server hadoop102:9092 --topic first 
   >hello world 
   >azula  azula 
   

3 消费者命令行操作

1. 查看操作消费者命令参数

   [azula@hadoop102 kafka]$ bin/kafka-console-consumer.sh 
   

   参数	描述
   –bootstrap-server <String: server toconnect to>	连接的 Kafka Broker 主机名称和端口号。
   –topic <String: topic>	操作的 topic 名称。
   –from-beginning	从头开始消费。
   –group <String: consumer group id>	指定消费者组名称。

2. 消费消息

   • 消费first 主题中的数据。

     [azula@hadoop102 kafka]$ bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic first 
     

   • 把主题中所有的数据都读取出来（包括历史数据）。

     [azula@hadoop102 kafka]$ bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --from-beginning --topic first