好久都没去过电影院了！用Python网络爬虫来看看最近电影院都有哪些上映的电影

爬遍天下无敌手

于 2020-09-25 19:58:29 发布

阅读量5.8k

点赞数

分类专栏： Python 文章标签： python 机器学习 java 大数据人工智能

本文链接：https://blog.csdn.net/weixin_43881394/article/details/108803226

版权

本文介绍了如何使用Python通过网络爬虫获取猫眼电影的即将上映电影详情。从项目目标、准备到实现步骤进行了详细讲解，包括发送请求、XPath解析、数据保存，并提醒注意不要过度抓取数据以免对服务器造成负担。

摘要由CSDN通过智能技术生成

1 前言

猫眼电影是淘宝联合打造电影分类最全的电影的平台，能够第一时间告知用户，最新的电影上线时间。今天教大家获取猫眼电影的即将上映的电影详情。

获取猫眼电影的即将上映的电影详情。

软件：PyCharm

需要的库：requests、lxml、random、time

插件：Xpath

网站如下：

https://maoyan.com/films?showType=2&offset={}

点击下一页的按钮，观察到网站的变化分别如下：

https://maoyan.com/films?showType=2&offset=30  
https://maoyan.com/films?showType=2&offset=60  
https://maoyan.com/films?showType=2&offset=90

点击下一页时，页面每增加一页offset=()每次增加30，所以可以用{}代替变换的变量，再用for循环遍历这网址，实现多个网址请求。

1、定义一个class类继承object，定义init方法继承self，主函数main继承self。导入需要的库和网址，代码如下所示。

关注

专栏目录