什么，我竟然自己做了个爬虫，手把手让你也做一个类似的。

小王爱前端

已于 2023-07-24 22:41:31 修改

阅读量35

点赞数

文章标签： python

于 2023-07-24 22:41:30 首次发布

本文链接：https://blog.csdn.net/ffhgf5516826455/article/details/131906486

版权

import requests
import json
 
if __name__ == "__main__":
    url = 'https://movie.douban.com/j/search_subjects'
    param = {
        'type': 'movie',
        'tag': "喜剧",
        'sort': 'recommend',
        'page_limit': 20,  # 一次取出的个数
        'page_start': 20,  # 从库中的第几部电影去取
    }
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36 Edg/89.0.774.75'
    }
    response = requests.get(url=url, params=param, headers=headers)
 
    list_data = response.json()
 
    fp = open('./douban.json', 'w', encoding='utf-8')
    json.dump(list_data, fp=fp, ensure_ascii=False)
 
    print('over!!!')