前言
本文主要讲述使用python爬取猫眼TOP100榜的电影名称,评分,以及电影图片等,爬取的URL是:http://maoyan.com/bard/4。
安装类库
pip install requests
分析目标URL
打开http://maoyan.com/bard/4,观察页面规律。
可以看到页面上链接已经变为http://maoyan.com/board/4?offset=10,可以看的出来第二页链接新增了offset=10这个参数,这时可以看到排名20到30的电影信息,我们手动更改这个参数,就可以看到TOP100的全部电影信息了。
抓取单个页面
将url=http://maoyan.com/board/4,传入get_one_page()函数,可以获取目标地址的源代码。