python 发送kafka大体有三种方式

最新推荐文章于 2024-07-21 03:47:18 发布

qq_42337191

最新推荐文章于 2024-07-21 03:47:18 发布

阅读量1.4k

点赞数

分类专栏： kafka 文章标签： python

本文链接：https://blog.csdn.net/qq_42337191/article/details/107235471

版权

本文介绍了Python发送Kafka消息的三种方法：1. 发送并忘记，不检查结果；2. 同步发送，通过get方法等待并确认响应；3. 异步发送结合回调函数，以获取发送状态。

摘要由CSDN通过智能技术生成

python 发送kafka大体有三种方式

1 发送并忘记（不关注是否正常到达，不对返回结果做处理）

1 import pickle
2 import time
3 from kafka import KafkaProducer
4
5 producer = KafkaProducer(bootstrap_servers=['ip:9092'],
6                          key_serializer=lambda k: pickle.dumps(k),
7                          value_serializer=lambda v: pickle.dumps(v))
8
9 start_time = time.time()
10 for i in range(0, 10000):
11     print('------{}---------'.format(i))
12     future = producer.send('test_topic', key='num', value=i, partition=0)
13
14 # 将缓冲区的全部消息push到broker当中
15 producer.flush()
16 producer.close()
17
18 end_time = time.time()
19 time_counts = end_time - start_time
20 print(time_counts)