python 从kafka提取数据

最新推荐文章于 2024-08-06 09:52:08 发布

sxf_0123

最新推荐文章于 2024-08-06 09:52:08 发布

阅读量3.5k

点赞数 1

分类专栏： python 文章标签： python

本文链接：https://blog.csdn.net/sxf_123456/article/details/80771418

版权

这段代码展示了如何使用`pykafka`库从Kafka主题中获取数据。定义了一个`KafkaDownloader`函数，该函数连接到指定的Kafka主机，选择主题，并设置消费者组。消费者自动从最新偏移量开始读取数据。在`get_kafka_data`函数中，配置了Kafka的主机地址、主题名和消费者组，然后逐条打印出接收到的消息。

摘要由CSDN通过智能技术生成

from pykafka import KafkaClient
from pykafka.common import OffsetType  # OffsetType中存在两个变量EARLITEST(分区最早偏移量),LATEST(分区最新偏移量)

def KafkaDownloader(host_, topic_, group_id_):
    client = KafkaClient(hosts=host_)
    _topic = client.topics[bytes(topic_.encode())]
    consumer = _topic.get_simple_consumer(