Python连接kafka的示例

最新推荐文章于 2024-09-02 10:46:33 发布

搁浅的csdn

最新推荐文章于 2024-09-02 10:46:33 发布

阅读量3.7k

点赞数 2

分类专栏： python kafka 生产者消费者爬虫文章标签： python kafka 生产者消费者爬虫

本文链接：https://blog.csdn.net/qq_42575247/article/details/96483794

版权

本文介绍了如何使用Python编写Kafka的生产者和消费者代码，并分享了在实现过程中遇到的两个问题：生产者发送数据到kafka集群失败，以及消费者无法消费数据。作者寻求社区交流和解决方案，并提醒读者转载请注明来源。

摘要由CSDN通过智能技术生成

一、Python编写kafka生产者代码：

#!/usr/bin/env python3
# -*- coding: utf-8 -*-
# @Time    : 2019/7/11 9:21
# @Author  : ShenJianFen

import datetime
import json
import time
import uuid

from kafka import KafkaProducer
from kafka.errors import KafkaError

# kafka生产者脚本    kafka-console-consumer --zookeeper localhost:2181 --topic test_topic --from-beginning

producer = KafkaProducer(bootstrap_servers='master1:9092,master2:9092,reserve1:9092')
topic = 'ffff'


def test():

    print('begin')
    try:
        for i in range(100):
            dic = {}
            dic['id'] = i
            dic['uuid'] = str(uuid.uuid4().hex)
            dic['time'] = datetime.datetime.now().strftime("%Y%m%d %H:%M:%S")
            producer.send(topic, json.dumps(dic).encode())
            print("send:" + json.dumps(dic))
            time.sleep(0