requests模块练习-爬取豆瓣

滚轮向下滚动到底部会触发一次阿贾克斯请求(Ajax)，会局部更新页面。

请求的url地址以及其对应的方式为GET

而得到的数据类型是json

传递的数据

其中start表示的是获取到数据库中的起始位置，limit表示获取的数量

代码部分:

import requests
import json

if __name__ == "__main__":
    # 指定url
    url = 'https://movie.douban.com/j/chart/top_list'
    # 进行UA伪装
    headers = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.125 Safari/537.36'
    }
    param = {
        'type': '24',
        'interval_id': '100:90',
        'action': '',
        'start': '0',  # 开始位置，从库中的第几部电影开始取
        'limit': '20',  # 限定数量，去除的个数
    }
    response = requests.get(url=url, params=param, headers=headers)
    list_data = response.json()
    #持久化存储
    fp = open('./douban.json', 'w', encoding='utf-8')
    json.dump(list_data, fp=fp, ensure_ascii=False)
    print('over')