kafka的一些基本操作

最新推荐文章于 2024-04-18 01:47:14 发布

归来少年Plus

最新推荐文章于 2024-04-18 01:47:14 发布

阅读量256

点赞数

分类专栏： kafka

本文链接：https://blog.csdn.net/weixin_41709748/article/details/115466468

版权

kafka 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

本文档展示了如何在本地启动Zookeeper和Kafka服务，创建名为'test'的Kafka主题，并使用控制台生产者和消费者进行消息发布与订阅。通过`kafka-topics.sh`创建主题，`kafka-console-producer.sh`发送消息，以及`kafka-console-consumer.sh`从头开始消费消息。此外，提到了通过神策平台订阅数据。

摘要由CSDN通过智能技术生成

一、查看topic的命令

 ./kafka-topics.sh --list --bootstrap-server localhost:9092

在这里插入图片描述
二、测试

2.1启动生产者

 ./kafka-console-producer.sh --bootstrap-server localhost:9092 --topic test

2.2 启动消费者

./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

三、启动zookeeper

./zookeeper-server-start.sh ../config/zookeeper.properties &

四。启动kafka

./kafka-server-start.sh ../config/server.properties &

来看下实验：
在这里插入图片描述
你在左边执行生产者，在右边就会自动显示消费者。两者相辅相成。

#在本机创建kafka，副本数量为1，分区数量为1
[root@kafka bin]# ./kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test
#查看本机的topic
[root@kafka bin]# ./kafka-topics.sh --list --bootstrap-server localhost:9092
test
#发送消息到test
[root@kafka bin]# ./kafka-console-producer.sh --broker-list localhost:9092 --topic test
>aaa
>bbb
>ccc
#开启新的终端，进行读取消息测试，“--from-beginning”表示从开头读取
[root@kafka bin]# ./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
aaa
bbb
ccc

通过神策平台订阅数据

cd  /sensorsdata/metadata/sa_cluster/cloudera/parcels/KAFKA-2.2.0-1.2.2.0.p0.68/lib/kafka/bin

./kafka-console-consumer.sh --bootstrap-server xxxx:9092 --topic event_topic