python3连接kafka模块pykafka生产者简单封装

最新推荐文章于 2024-07-02 16:00:59 发布

苗清水

最新推荐文章于 2024-07-02 16:00:59 发布

阅读量6.9k

点赞数 3

分类专栏： python Linux kafka

本文链接：https://blog.csdn.net/clean_fish/article/details/90632988

版权

本文介绍了如何使用Python3的pykafka模块来连接Kafka，并进行生产者的基本使用和简单封装。通过1.1安装模块、1.2基本使用、1.3简单封装的步骤，详细讲解了如何在Python中操作Kafka。参考了博客园和知乎上的相关资源，旨在提升Kafka写入效率。

摘要由CSDN通过智能技术生成

1.1安装模块

pip install pykafka

1.2基本使用

# -* coding:utf8 *-  
from pykafka import KafkaClient  
host = 'IP:9092, IP:9092, IP:9092'
client = KafkaClient(hosts = host)  
# 生产者  
topicdocu = client.topics['my-topic']  
producer = topicdocu.get_producer()  
for i in range(100):  
    print i  
    producer.produce('test message ' + str(i ** 2))  
producer.stop()

1.3简单封装

class KafkaProduct():

    def __init__(self,hosts,topic):
        """
        初始化实例
        :param hosts: 连接地址
        :param topic:
        """
        self.__client = KafkaClient(hosts=hosts)
        self.__topic = self.__client.topics[topic.encode()]

    def __set_topic(self, topic):
        self.__topic = self.__client.topics[topic.encode()]

    def set_topic(self, topic):
        ""&