kafka python client收发消息示例

最新推荐文章于 2024-04-23 21:42:34 发布

scc诚诚

最新推荐文章于 2024-04-23 21:42:34 发布

阅读量357

点赞数

分类专栏：个人分享文章标签： kafka linux hadoop python

本文链接：https://blog.csdn.net/shichengcheng_scc/article/details/111277826

版权

本文总结了使用Python的Kafka客户端发送消息的步骤，包括更新pip和使用github及官方文档中的示例。特别提到了一个简单的producer.py脚本，它能持续输入1到1000的数据，并设置了auto_offset_reset='earliest'，使得消费者可以从头开始消费消息。

摘要由CSDN通过智能技术生成

python有成熟的kafka python client
github以及官文都有示例，这边做个简单&快速的总结：

1. 首先需要更新pip

pip install --upgrade pip -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install kafka-python -i https://pypi.tuna.tsinghua.edu.cn/simple

Python代码示例

https://help.aliyun.com/document_detail/159498.html?spm=a2c4g.11186623.2.9.6cc21659Csi3Nf#task-2455468

代码无误（非常推荐）
(consumer.py很方便使用，包含多个维度。producer.py可根据需求自行调整）

2. 简单示例
producer持续输入一列数据producer.py——自动输入1~1000

import pickle
import time
from kafka import KafkaProducer

producer = KafkaProducer(bootstrap_servers=["bootstrap_servers:port",

关注