Python爬虫：第二章 requests模块基础 example4 爬取豆瓣电影分类排行榜（6）

最新推荐文章于 2022-07-08 18:45:04 发布

HarryStudyPython_ing

最新推荐文章于 2022-07-08 18:45:04 发布

阅读量241

点赞数

分类专栏： Python爬虫文章标签： python 爬虫 Python爬虫零基础自学

本文链接：https://blog.csdn.net/qq_47805483/article/details/119459204

版权

Python爬虫专栏收录该内容

23 篇文章 11 订阅

订阅专栏

第二章 requests模块基础

example4: 爬取豆瓣电影分类排行榜

#----- 实战代码4：-----
# 基于requests模块ajax的get请求
# 需求：爬取豆瓣电影分类排行榜 https://movie.douban.com/中的电影详情数据

import requests
if __name__ == "__main__":
    #指定ajax-get请求的url（通过抓包进行获取）
    url = 'https://movie.douban.com/j/chart/top_list'
    #定制请求头信息，相关的头信息必须封装在字典结构中
    headers = {
        #定制请求头中的User-Agent参数，当然也可以定制请求头中其他的参数
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36',
    }
    #定制get请求携带的参数(从抓包工具中获取)
    param = {
        'type':'24',
        'interval_id':'100:90',
        'action':'',
        'start':'0', # 从库中的第几部电影开始取
        'limit':'20' # 一次请求取出的个数
    }
    #发起get请求，获取响应对象
    response = requests.get(url=url,headers=headers,params=param)
    list_data = response.json()
    fp = open('./douban.json','w',encoding='utf-8')
    json.dump(list_data,fp = fp,ensure_ascii=False)