最新使用Python操作Kafka(Windows中)_python 连接windows本地kafka,2024年最新面试题集锦

最后

不知道你们用的什么环境,我一般都是用的Python3.6环境和pycharm解释器,没有软件,或者没有资料,没人解答问题,都可以免费领取(包括今天的代码),过几天我还会做个视频教程出来,有需要也可以领取~

给大家准备的学习资料包括但不限于:

Python 环境、pycharm编辑器/永久激活/翻译插件

python 零基础视频教程

Python 界面开发实战教程

Python 爬虫实战教程

Python 数据分析实战教程

python 游戏开发实战教程

Python 电子书100本

Python 学习路线规划

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友,可以戳这里获取

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!

"Name","Score"
"zhang san",99.0
"li si",49.5
"wang hong",82.5
"liu qian",76.0
"shen teng",78.0
"ma li",88.0

|

然后修改文件的名字和文件拓展名为score.csv,然后将文件拖到python下,(因为我创建了一个kafkapython的包,所以我拖到的是这个包的下面)

3.新建producer.py(要求和文件score.csv在同一个目录下)生产者读取文件的所有内容,然后将其以JSON字符串的形式发送给Kafka消费者

producer.py的内容为:

# 导入相关模块
import os
import json
import csv
#导入kafka的生产者模块
from kafka import KafkaProducer
# 连接kafka
producer = KafkaProducer(bootstrap_servers = 'localhost:9092')
# 读取文件的内容  getcwd()获取的是文件的绝对路径
with open(os.getcwd()+"\\score.csv") as fp:
    reader = csv.reader(fp) # 读取csv的内容
    # 将读取的内容转换为list
    data = list(reader)
    # 需要将读取的数据转换为字节类型
    data1 = json.dumps(data).encode('utf-8')
    # 以字节形式将数据发送到kafka
    producer.send('test04',data1)
# 关闭资源
producer.close()

4.新建consumer.py消费者来获得消息并将其显示到屏幕上

consumer.py的内容为:

# 导入模块
import json
# 导入kafka的消费模块
from kafka import KafkaConsumer
# 连接kafka
consumer = KafkaConsumer('test04',bootstrap_servers = 'localhost:9092',group_id=None,auto_offset_reset='smallest')
# 遍历内容
for msg in consumer:
    row = msg.value.decode('utf-8')
    list = json.loads(row)
    for item in list:
        print("%s\t%s"%(item[0],item[1]))

5.先在windows命令窗口开启 Zookeeper和Kafka

开启 Zookeeper和Kafka可以参考:Kafka的安装和使用(Windows中)_瑾寰的博客-CSDN博客2.3.1.2在小黑窗3中输入.\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic topic_test001然后回车。在黑窗口3中输入.\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic topic_test001然后回车。外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传https://blog.csdn.net/qq_68383591/article/details/130314335?spm=1001.2014.3001.5502

6.先运行producer.py再运行consumer.py

最后

🍅 硬核资料:关注即可领取PPT模板、简历模板、行业经典书籍PDF。
🍅 技术互助:技术群大佬指点迷津,你的问题可能不是问题,求资源在群里喊一声。
🍅 面试题库:由技术群里的小伙伴们共同投稿,热乎的大厂面试真题,持续更新中。
🍅 知识体系:含编程语言、算法、大数据生态圈组件(Mysql、Hive、Spark、Flink)、数据仓库、Python、前端等等。

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友,可以戳这里获取

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!

b5a486d4c3ab8389e65ecb71ac0)**

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!

  • 15
    点赞
  • 27
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值