python kafka写入.net平台消费延迟5秒问题解决

最新推荐文章于 2025-04-10 09:37:52 发布

IT小白lp

最新推荐文章于 2025-04-10 09:37:52 发布

阅读量917

点赞数

分类专栏： .net C# 后端文章标签： kafka python

本文链接：https://blog.csdn.net/sqlpeng/article/details/107079484

版权

在测试环境中，通过Python的pykafka库发送消息到Kafka，.NET平台的Confluent.Kafka消费者发现存在5秒延迟的问题。当Python生产者初始化时设置sync=True，会导致每5秒批量处理一次数据。解决方法是将sync参数设为True，确保同步处理，从而消除延迟现象。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

测试环境，使用python的pykafka写入消息数据，.net Confluent.Kafka进行消费，中间发现，间隔一秒发送会延迟5秒做批处理。

python代码：

from pykafka import KafkaClient
import datetime
import threading
import time


def producer():
    client = KafkaClient(hosts="172.26.1.22:9092", broker_version='2.4')
    topicdocu = client.topics["251z_37"]
    producer = **topicdocu.get_producer()**

    for num