requests+正则表达式爬取猫眼电影TOP100！

前言

 

本文主要讲述使用python爬取猫眼TOP100榜的电影名称，评分，以及电影图片等，爬取的URL是：http://maoyan.com/bard/4。

 

安装类库

pip install requests

分析目标URL

 

打开http://maoyan.com/bard/4，观察页面规律。

 

可以看到页面上链接已经变为http://maoyan.com/board/4?offset=10，可以看的出来第二页链接新增了offset=10这个参数，这时可以看到排名20到30的电影信息，我们手动更改这个参数，就可以看到TOP100的全部电影信息了。

 

抓取单个页面

 

将url=http://maoyan.com/board/4，传入get_one_page()函数，可以获取目标地址的源代码。