python简单操作kafka

最新推荐文章于 2024-09-20 10:03:13 发布

__kamil

最新推荐文章于 2024-09-20 10:03:13 发布

阅读量1k

点赞数

分类专栏： kafka python 文章标签： kafka python

本文链接：https://blog.csdn.net/weixin_44331517/article/details/119042100

版权

本文介绍了如何使用Python进行Kafka的操作，包括创建producer确保消息发送完成，传入JSON数据和指定key，以及生成consumer进行数据读取。同时提到了消费者组的概念，以及在特定场景下消费者与分区的对应关系，并简要提及了Kafka的认证过程。

摘要由CSDN通过智能技术生成

python操作kafka

kafka命令行操作

# 创建主题
kafka-topics.sh --zookeeper localhost:2181 --create --replication-factor 1 --partitions 3 --topic userlog
# 查看所有主题
kafka-topics.sh --zookeeper localhost:2181 --list
# 查看主题
kafka-topics.sh --zookeeper localhost:2181 --describe --topic userlog
# 创建生产者
kafka-console-producer.sh --broker-list IP:9092 --topic userlog
# 创建消费者
kafka-console-consumer.sh --bootstrap-server IP:9092 --from-beginning --topic userlog

利用python代码使用kafka

python生成producer

from kafka import KafkaProducer

# 创建生产者
producer = KafkaProducer(bootstrap_servers='IP:9092')
msg = '哈哈'.encode('utf-8')  # 发送内容,必须是bytes类型
# 可以通过send方法中的partition参数指定分区传入
producer.send('userlog', msg, partition=0)
producer.close()

这里的producer.close()非常关键，如果不写，主线程不会等待producer发送完消息，这样的话，如果主线程结束，producer还没发送完消息，就会发送失败，但是代码不会报错，消息又没进入到kafka，所以一定要加上，这样主线程就会等待producer发送完消息

传入json数据

from kafka import KafkaProducer
import json

# 连接kafka
producer = KafkaProducer(bootstrap_servers='IP:9092',
                         # 传入json数据时,可用value_serializer参数进行处理
                         value_serializer=lambda x: json.dumps(x, ensure_ascii=False).encode('utf-8')
                         )
msg = {
   "text":</