Python爬虫——爬取 猫眼电影Top100

Python爬虫——爬取 猫眼电影Top100
一、分析url

首先，打开目标站点https://maoyan.com/board/4，打开之后便看到榜单信息：

排名第一的电影是霸王别姬，页面中可以看到的信息有电影名称，主演，上映时间，电影封面，评分，排名等。

页面最下面有分页列表，切换到第2页，看看url发生了哪些变化。

可以看到第2页的url为https://maoyan.com/board/4?offset=10，url与第1页相比发生了些变化。再分别把第3页和第4页的url拿来比较一下。

第1页：https://maoyan.com/board/4

第2页：https://maoyan.com/board/4?offset=10

第3页：https://maoyan.com/board/4?offset=20

第4页：https://maoyan.com/board/4?offset=30

貌似发现了一些规律，将第1页改为https://maoyan.com/board/4?offset=0试试？

发现依然可以找到第1页，可以发现offset代表了偏移量，如果偏移量为n，则显示电影的序号就是n