利用正则表达式爬取猫眼电影TOP100信息

本文详细介绍了如何使用requests库和正则表达式爬取猫眼电影TOP100的电影信息,包括电影的标题、主演、上映时间、评分和图片链接。内容涵盖目标设定、效果展示、爬虫分析、信息保存到本地以及分页爬取的实现。最终,爬取的数据被保存在本地的imgs文件夹和results.txt文件中。
摘要由CSDN通过智能技术生成

本文利用requests库和正则表达式爬取了猫眼电影TOP100电影信息,并将电影封面和标题、主演等文字信息保存在了本地。本文完整代码链接:https://github.com/iapcoder/MaoYanTop100。运行里面的spider.py即可。


一、目标

  1. 练习使用正则表达式
  2. 使用python爬虫的库requests
  3. 爬取猫眼电影TOP100榜中电影的标题、主演、上映时间、评分、图片链接等信息
  4. 将每部电影的图片保存在imgs文件夹里,标题、主演等信息保存在results.txt里

二、 效果展示

三、爬虫分析

1.链接分析

抓取的网站为:https://maoyan.com/board/4,打开后便可以看到如下信息:

首页信息

该页面显示的已经包含我们所需要的信息。 拉到页面下方,发现一共有10页,点击第二页,网页的链接变为:

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值