Python面试中常问的MMAP到底是啥东东Python多线程豆瓣影评API接口爬虫，一文搞懂JVM架构

def _random_UA(self):

self.headers[‘User-Agent’] = random.choice(USERAGENT)

#获取api接口，使用get方法，返回的数据为json数据，需要提取里面的HTML

def _get(self):

self._random_UA()

res = ‘’

try:

res = requests.get(self.url, cookies=self.cookies, headers=self.headers)

res = res.json()[‘html’]

except Exception as e:

print(‘IP被封，请使用代理IP’)

print(‘正在获取{} 开始的记录’.format(self.start))

return res

def _parse(self):

res = self._get()

dom = etree.HTML(res)

#id号

self.id = dom.xpath(self.base_node + ‘/@data-cid’)

#用户名

self.username = dom.xpath(self.base_node + ‘/div[@class=“avatar”]/a/@title’)

#用户连接

self.user_center = dom.xpath(self.base_node + ‘/div[@class=“avatar”]/a/@href’)

#点赞数

self.vote = dom.xpath(self.base_node + ‘//span[@class=“votes”]/text()’)

#星级

self.star = dom.xpath(self.base_node + ‘//span[contains(@class,“rating”)]/@title’)

#发表时间

self.time = dom.xpath(self.base_node + ‘//span[@class="comment-time "]/@title’)

#评论内容 所有span标签class名为short的节点文本

self.content = dom.xpath(self.base_node + ‘//span[@class=“short”]/text()’)

#保存到数据库

def save_to_database(self):

self._parse()

for i in range(len(self.id)):

try:

comment = Comments(

id=int(self.id[i]),

username=self.username[i],

user_center=self.user_center[i],

vote=int(self.vote[i]),

star=self.star[i],

time=datetime.strptime(self.time[i], ‘%Y-%m-%d %H:%M:%S’),

content=self.content[i]

)

self.session.add(comment)

self.session.commit()

return ‘finish’

except pymysql.err.IntegrityError as e:

print(‘数据重复，不做任何处理’)

except Exception as e:

#数据添加错误，回滚

self.session.rollback()

finally:

#关闭数据库连接

self.session.close()

#保存到csv

def save_to_csv(self):

self._parse()

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Python开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加V获取：vip1024c （备注Python）

文末有福利领取哦~

👉一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

👉二、Python必备开发工具

👉三、Python视频合集

观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

👉 四、实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。（文末领读者福利）

👉五、Python练习题

检查学习结果。

👉六、面试资料

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

👉因篇幅有限，仅展示部分资料，这份完整版的Python全套学习资料已经上传

一个人可以走的很快，但一群人才能走的更远。如果你从事以下工作或对以下感兴趣，欢迎戳这里加入程序员的圈子，让我们一起学习成长！

AI人工智能、Android移动开发、AIGC大模型、C C#、Go语言、Java、Linux运维、云计算、MySQL、PMP、网络安全、Python爬虫、UE5、UI设计、Unity3D、Web前端开发、产品经理、车载开发、大数据、鸿蒙、计算机网络、嵌入式物联网、软件测试、数据结构与算法、音视频开发、Flutter、IOS开发、PHP开发、.NET、安卓逆向、云计算

c0)

AI人工智能、Android移动开发、AIGC大模型、C C#、Go语言、Java、Linux运维、云计算、MySQL、PMP、网络安全、Python爬虫、UE5、UI设计、Unity3D、Web前端开发、产品经理、车载开发、大数据、鸿蒙、计算机网络、嵌入式物联网、软件测试、数据结构与算法、音视频开发、Flutter、IOS开发、PHP开发、.NET、安卓逆向、云计算