感谢每一个认真阅读我文章的人,看着粉丝一路的上涨和关注,礼尚往来总是要有的:
① 2000多本Python电子书(主流和经典的书籍应该都有了)
② Python标准库资料(最全中文版)
③ 项目源码(四五十个有趣且经典的练手项目及源码)
④ Python基础入门、爬虫、web开发、大数据分析方面的视频(适合小白学习)
⑤ Python学习路线图(告别不入流的学习)
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
目录
前言
本文对python的kafka包做简单封装,方便kafka初学者使用。包安装:
pip install kafka-python
封装代码
kafka_helper.py
#!/usr/bin/env python
# -\*- coding: utf-8 -\*-
import json
import traceback
from kafka import KafkaConsumer, KafkaProducer, TopicPartition
from typing import List
class KProducer:
def __init__(self, bootstrap_servers: List, key\_serializer=lambda m: json.dumps(m).encode("ascii"),
value\_serializer=lambda m: json.dumps(m).encode("ascii"), compression\_type=None):
try:
self.producer = KafkaProducer(
bootstrap\_servers=bootstrap_servers,
buffer\_memory=33554432,
batch\_size=1048576,
max\_request\_size=1048576,
key\_serializer=key_serializer,
value\_serializer=value_serializer,
compression\_type=compression_type # 压缩消息发送 gzip lz4 snappy zstd
)
print("connect success, kafka producer info {0}".format(bootstrap_servers))
except Exception as e:
raise Exception("connect kafka failed, {}.".format(e))
def sync_send(self, topic: str, data):
"""
同步发送数据
:param data: 发送数据
:param topic: 主题
:return: partition, offset
"""
try:
future = self.producer.send(topic, data)
record_metadata = future.get(timeout=10) # 同步确认消费
partition = record_metadata.partition # 数据所在的分区
offset = record_metadata.offset # 数据所在分区的位置
print("save success, partition: {}, offset: {}".format(partition, offset))
return partition, offset
except Exception as e:
raise Exception("Kafka sync send failed, {}.".format(e))
def async_send(self, topic: str, data):
"""
异步发送数据
:param data: 发送数据
:param topic: 主题
:return: None
"""
try:
self.producer.send(topic, data)
print("send data:{}".format(data))
except Exception as e:
raise Exception("Kafka asyn send failed, {}.".format(e))
def async_callback(self, topic: str, data):
"""
异步发送数据 + 发送状态处理
:param data:发送数据
:param topic: 主题
:return: None
"""
try:
for item in data:
self.producer.send(topic, item).add_callback(self.__send_success).add_errback(self.__send_error)
self.producer.flush() # 批量提交
except Exception as e:
raise Exception("Kafka asyn send fail, {}.".format(e))
@staticmethod
def __send_success():
"""异步发送成功回调函数"""
print("save success")
return
@staticmethod
def __send_error():
"""异步发送错误回调函数"""
print("save error")
return
def close(self):
self.producer.close()
class KConsumer:
def __init__(self, bootstrap_servers: List, topic: str, group_id: str, key\_deserializer=None,
value\_deserializer=None, auto\_offset\_reset="latest"):
self.topic = topic
try:
self.consumer = KafkaConsumer(
self.topic,
bootstrap\_servers=bootstrap_servers,
group\_id=group_id,
enable\_auto\_commit=False,
auto\_commit\_interval\_ms=1000,
session\_timeout\_ms=30000,
max\_poll\_records=50,
max\_poll\_interval\_ms=30000,
metadata\_max\_age\_ms=3000,
key\_deserializer=key_deserializer,
value\_deserializer=value_deserializer,
auto\_offset\_reset=auto_offset_reset
)
self.consumer.subscribe(topics=[self.topic])
print("connect to kafka and subscribe topic success")
except Exception as e:
raise Exception("Kafka pconsumers set connect fail, {0}, {1}".format(e, traceback.print_exc()))
def get_consumer(self):
"""
返会可迭代consumer
:return: consumer
"""
return self.consumer
def set_topic(self, topic: str):
"""
订阅主题
:param topic: 主题
:return: None
"""
self.topic = topic
self.consumer.subscribe(topics=[self.topic])
def get_message_by_partition_offset(self, partition, offset):
"""
通过partition、offset获取一个消息
:param partition: 分区
:param offset: 游标、下标、序号
:return: message,消息
"""
self.consumer.unsubscribe()
partition = TopicPartition(self.topic, partition)
self.consumer.assign([partition])
self.consumer.seek(partition, offset=offset)
for message in self.consumer:
return message
### 最后
Python崛起并且风靡,因为优点多、应用领域广、被大牛们认可。学习 Python 门槛很低,但它的晋级路线很多,通过它你能进入机器学习、数据挖掘、大数据,CS等更加高级的领域。Python可以做网络应用,可以做科学计算,数据分析,可以做网络爬虫,可以做机器学习、自然语言处理、可以写游戏、可以做桌面应用…Python可以做的很多,你需要学好基础,再选择明确的方向。这里给大家分享一份全套的 Python 学习资料,给那些想学习 Python 的小伙伴们一点帮助!
#### 👉Python所有方向的学习路线👈
Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。
![](https://img-blog.csdnimg.cn/img_convert/604bae65027d4d67fb62410deb210454.png)
#### 👉Python必备开发工具👈
工欲善其事必先利其器。学习Python常用的开发软件都在这里了,给大家节省了很多时间。
![](https://img-blog.csdnimg.cn/img_convert/fa276175617e0048f79437bd30465479.png)
#### 👉Python全套学习视频👈
我们在看视频学习的时候,不能光动眼动脑不动手,比较科学的学习方法是在理解之后运用它们,这时候练手项目就很适合了。
![](https://img-blog.csdnimg.cn/img_convert/16ac689cb023166b2ffa9c677ac40fc0.png)
#### 👉实战案例👈
学python就与学数学一样,是不能只看书不做题的,直接看步骤和答案会让人误以为自己全都掌握了,但是碰到生题的时候还是会一筹莫展。
因此在学习python的过程中一定要记得多动手写代码,教程只需要看一两遍即可。
![](https://img-blog.csdnimg.cn/img_convert/0d8c31c50236a205928a1d8ae8a0b883.png)
#### 👉大厂面试真题👈
我们学习Python必然是为了找到高薪的工作,下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料,并且有阿里大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的工作。
![](https://img-blog.csdnimg.cn/img_convert/99461e47e58e503d2bc1dc6f4668534a.png)
**[需要这份系统化学习资料的朋友,可以戳这里获取](https://bbs.csdn.net/topics/618317507)**
**一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!**