爬取豆瓣电影分类排行榜

最新推荐文章于 2024-06-24 19:59:02 发布

py爱好者~

最新推荐文章于 2024-06-24 19:59:02 发布

阅读量626

点赞数

分类专栏：爬虫记录文章标签：分类爬虫数据挖掘

本文链接：https://blog.csdn.net/qq_52561726/article/details/120928207

版权

爬虫记录专栏收录该内容

11 篇文章

订阅专栏

import requests
import json
if __name__ == "__main__":
    url1 = 'https://movie.douban.com/j/chart/top_list'
    param = {
        'type':'24',
        'interval_id':'100:90',
        'action':'',
        'start':'0',#表示从库中第几部电影去取
        'limit':'100',#表示一次取几个
    }
    header ={
        'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.125 Mobile Safari/537.36'
    }
    response = requests.get(url=url1,params=param,headers=header)
    list_data = response.json()
    # 持久化存储
    fp = open('./douban.json','w',encoding='utf-8')
    json.dump(list_data,fp=fp,ensure_ascii=False)
    print('爬取结束！！！')