Python3学习（二十二）：Python KafkaProducer and KafkaConsumer的开发模块

最新推荐文章于 2024-09-02 10:46:33 发布

猪笨是念来过倒

最新推荐文章于 2024-09-02 10:46:33 发布

阅读量4.8k

点赞数 1

分类专栏： Python 文章标签： python

本文链接：https://blog.csdn.net/liao392781/article/details/80776528

版权

本文介绍了如何在Python3中使用python-kafka库进行KafkaProducer和KafkaConsumer的开发。通过安装python-kafka库，并设置消费者组ID，可以实现数据的写入和读取。消费者数据读取依赖于groupid的偏移量管理。安装命令为`pip install python-kafka -i https://pypi.douban.com/simple`，接收到的消息是以生成器形式返回，元素类型为`<class 'kafka.consumer.fetcher.ConsumerRecord'>`。

摘要由CSDN通过智能技术生成

在python中往kakfa写数据和读取数据,使用的是python-kafka库
消费者需持续写入数据，因groupid存在偏移量，才能看看到数据。
安装库的命令为pip install python-kafka -i https://pypi.douban.com/simple
其中返回的message为一个生成器，其中元素的type为<class 'kafka.consumer.fetcher.ConsumerRecord'>

代码如下：

#!/usr/bin/env python
# -*- coding: utf-8 -*-
from kafka import KafkaProducer
from kafka import KafkaConsumer
from kafka.errors import KafkaError
import json


class Kafka_producer():
    '''
    使用kafka的生产模块
    '''

    def __init__(self, kafkahost,kafkaport, kafkatopic):
        self.kafkaHost = kafkahost
        self.kafkaPort = kafkaport
        self.kafkatopic = kafkatopic
        self.producer = KafkaProducer(bootstrap_servers = '{k