使用命令行的形式操作Kafka

目录

 1. 主题命令行操作

1.1 查看操作主题命令参数

1.2 查看当前服务器中的所有 topic  

1.3 创建topic

 1.4 查看 first 主题的详情

 1.5 修改分区数（注意：分区数只能增加，不能减少）

 1.6 删除 topic

 2. 生产者命令行操作

2.1 查看操作生产者命令参数

 2.2 生产者发送消息

 3. 消费者命令行操作

3.1 查看操作消费者命令参数

3.2 消费者消费消息

3.2.1 消费 first 主题中的数据

3.2.2 把主题中所有的数据都读取出来（包括历史数据）

---

 1. 主题命令行操作

1.1 查看操作主题命令参数

1.2 查看当前服务器中的所有 topic  

kafka的版本低于2.2，不能使用 --bootstrap-server，改为使用--zookeeper并且端口号为zookepeer的端口号

1.2.1 Kafka版本低于2.2

bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --list

1.2.2 Kafka版本高于2.2

/opt/kafka_2.12/bin/kafka-topics.sh --zookeeper 192.168.140.65:2281 --list

1.3 创建topic

1.3.1 Kafka版本低于2.2

bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --create --partitions 1 --replication-factor 3 --topic first

• 选项说明：
  • --topic 定义 topic 名
  • --replication-factor 定义副本数
  • --partitions 定义分区数

1.3.2 Kafka版本高于2.2

/opt/kafka_2.12/bin/kafka-topics.sh --zookeeper 192.168.140.65:2281 --create --partitions 1 --replication-factor 1 --topic first

 1.4 查看 first 主题的详情

1.4.1 Kafka版本低于2.2

bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --describe --topic first

1.4.2 Kafka版本高于2.2

/opt/kafka_2.12/bin/kafka-topics.sh --zookeeper 192.168.140.65:2281 --describe --topic first

 1.5 修改分区数（注意：分区数只能增加，不能减少）

1.5.1 Kafka版本低于2.2

bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --alter --topic first --partitions 3

1.5.2 Kafka版本高于2.2

/opt/kafka_2.12/bin/kafka-topics.sh --zookeeper 192.168.140.65:2281 --alter --topic first --partitions 3

 1.6 删除 topic

1.4.1 Kafka版本低于2.2

bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --delete --topic first

1.4.2 Kafka版本高于2.2

 /opt/kafka_2.12/bin/kafka-topics.sh --zookeeper 192.168.140.65:2281 --delete --topic first

 2. 生产者命令行操作

2.1 查看操作生产者命令参数

bin/kafka-console-producer.sh

 2.2 生产者发送消息

[atguigu@hadoop102 kafka]$ bin/kafka-console-producer.sh --
bootstrap-server hadoop102:9092 --topic first
>hello world
>atguigu atguigu

 或

/opt/kafka_2.12/bin/kafka-console-producer.sh --broker-list 192.168.140.65:9092 --topic first

 3. 消费者命令行操作

3.1 查看操作消费者命令参数

bin/kafka-console-consumer.sh

3.2 消费者消费消息

3.2.1 消费 first 主题中的数据

bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic first

或

 /opt/kafka_2.12/bin/kafka-console-consumer.sh --bootstrap-server 192.168.140.65:9092 --topic first --consumer-property group.id=test_group

3.2.2 把主题中所有的数据都读取出来（包括历史数据）

/opt/kafka_2.12/bin/kafka-console-consumer.sh --bootstrap-server 192.168.140.65:9092 --from-beginning --topic first