kafka快速入门

最新推荐文章于 2024-11-13 22:17:00 发布

一流觞

最新推荐文章于 2024-11-13 22:17:00 发布

阅读量266

点赞数

分类专栏：大数据文章标签： kafka 分布式

本文链接：https://blog.csdn.net/mklmlkj/article/details/127830252

版权

大数据专栏收录该内容

16 篇文章 0 订阅

订阅专栏

本文档详细介绍了Kafka的主题、生产者和消费者命令行操作，包括创建、删除主题，查看主题详情，发送和消费消息等核心功能。通过示例展示了如何使用`kafka-topics.sh`、`kafka-console-producer.sh`和`kafka-console-consumer.sh`脚本进行各种操作。

摘要由CSDN通过智能技术生成

kafka命令行操作

主题命令行操作

查看主题命令参数

[hxx@hadoop102 kafka]$ bin/kafka-topics.sh

参数	描述
–bootstrap-server <String: server toconnect to>	连接的Kafka Broker主机名称和端口号。
–topic <String: topic>	操作的topic名称。
–create	创建主题。
–delete	删除主题。
–alter	修改主题。
–describe	查看所有主题。
–partitions <Integer: # of partitions>	查看所有主题。
–replication-factor<Integer: replication factor>	查看所有主题。
–config <String: name=value>	查看所有主题。

2）查看当前服务器中的所有topic

[atguigu@hadoop102 kafka]$ bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --list

3）创建first topic

[atguigu@hadoop102 kafka]$ bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --create --partitions 1 --replication-factor 3 --topic first

选项说明：
–topic 定义topic名
–replication-factor 定义副本数
–partitions 定义分区数
4）查看主题的详情

[atguigu@hadoop102 kafka]$ bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --describe --topic first

5）修改分区数（注意：分区数只能增加，不能减少）

[atguigu@hadoop102 kafka]$ bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --alter --topic first --partitions 3

6）再次查看first主题的详情

[atguigu@hadoop102 kafka]$ bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --describe --topic first

7）删除topic

[atguigu@hadoop102 kafka]$ bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --delete --topic first

生产者命令操作

1）查看操作生产者命令参数

[atguigu@hadoop102 kafka]$ bin/kafka-console-producer.sh

参数	描述
–bootstrap-server <String: server toconnect to>	连接的Kafka Broker主机名称和端口号。
–topic <String: topic>	操作的topic名称。

2）发送消息

[atguigu@hadoop102 kafka]$ bin/kafka-console-producer.sh --bootstrap-server hadoop102:9092 --topic first
>hello world
>atguigu  atguigu

消费者命令行操作

1）查看操作消费者命令参数

[atguigu@hadoop102 kafka]$ bin/kafka-console-consumer.sh

–bootstrap-server <String: server toconnect to>	连接的Kafka Broker主机名称和端口号。
–topic <String: topic>	操作的topic名称。
–from-beginning	从头开始消费。
–group <String: consumer group id>	指定消费者组名称。

2）消费消息
（1）消费first主题中的数据。

[atguigu@hadoop102 kafka]$ bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic first

（2）把主题中所有的数据都读取出来（包括历史数据）。

[atguigu@hadoop102 kafka]$ bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --from-beginning --topic first