python 爬虫 | 利用循环语句获取分页查询的数据

以豆瓣的电影排行榜为例子

在开发者工具中可以看到，随着页面滚动条的下滑，network 中 XHR 的文件数不断增加

点击新增的文件，对比后可以发现 params 中的 start 发生改变

根据上述发现的不同，可以利用循环语句来获取分页查询的数据

获取一次查询的数据

import requests

url = "https://movie.douban.com/j/chart/top_list"

param = {
   
    "type": "11",
    "interval_id"