爬取豆瓣电影分类排行榜中的电影详情数据

进入界面，右键打开检测，选择网络

然后网页滚动条拉倒最下面使其刷出新的数据，然后查看数据包

编写代码

import requests
import  json

if __name__ == '__main__':

    get_url = 'https://movie.douban.com/j/chart/top_list'

    headers = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36 Edg/123.0.0.0'
    }

    data = {
        'type':'24',
        'interval_id':'100:90',
        'action':'',
        'start':'1',
        'limit':'20'
    }

    response = requests.post(url=get_url,data=data,headers=headers)

    # json 返回的是一个对象（如果确认响应数据是json类型的才可以使用）
    dic_obj = response.json()

    # file_name = word + '.json'
    fp = open('./movice.json','w',encoding='utf-8')
    json.dump(dic_obj,fp=fp,ensure_ascii=False)

参数中的  'start':'1'   ， 'limit':'20'  分别表示起始数据、每次刷新的数据条数，第一个电影应该是 0 开始，这里写 1 表示从第二个开始爬

运行结果：