Python爬虫学习第二章-4-使用requests模块爬取豆瓣电影分类排行榜

Python爬虫学习第二章-4-使用requests模块爬取豆瓣电影分类排行榜

  这一节是使用requests模块爬取豆瓣电影分类排行榜

1、从这个案例中得到的收获：

  如果页面地址栏地址不变，但可以进行动态刷新，则很有可能是ajax请求，需要在network中看XHR，调整页面进行一次动态刷新(注意不是刷新整个页面)就会出现Ajax的包。

  看Request URL可以了解到要发请求的url；看Request Method可以知道是什么类型的请求，是get还是post，该请求携带的参数在最后边看；看Content-Type可以知道响应数据的类型。
2、步骤：
  先根据Request URL指定url，指定完url紧接着要进行UA伪装，即定义一个headers；再根据url和 Ajax包最后一段进行参数处理；然后根据Request Method确定发送的是什么请求，从而进行发送请求，并定义一个response来接受响应的数据对象；然后从响应对象中获取响应数据，根据Content-Type确定是什么类型的数据，该用什么方法；最后进行持久化存储

实现代码：

'''
爬取豆瓣电影分类排行榜(不用数据解析的方式)：

'''
import requests
import json
if __name__=="__main__":
    #1、指定url
    url = 'https://movie.douban.com/j/chart/top_list?'
    #原指明参数的url是''https://movie.douban.com/j/chart/top_list?type=24&interval_id=100%3A90&action=&start=100&limit=20,
    # 但通常而言，凡是有参数的，最好使用字典将参数进行封装，所以可以将’？‘后边的参数都封装在字典中，在参数处理那一步进行

    # 2、进行UA伪装
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36'
    }  # 在url之后要紧接着进行UA伪装，

    #3、进行参数处理
    param = {
        'type': '24',
        'interval_id': '100:90',
        'action':'',
        'start': '1',  #从库中的第几部电影去取，所以这个值可以修改
        'limit': '20' #一次请求取出的个数是20个
    }

    #4、发送请求
    response = requests.get(url = url,params = param,headers = headers)

    #5、获取响应数据数据，是json格式的数据，在这个那里中返回的是一个列表
    list_data = response.json()

    #6、持久化存储
    fp = open('./douban.json','w',encoding='utf-8') #注意存储数据的方式
    json.dump(list_data,fp = fp,ensure_ascii=False)
    fp.close()
    print('over')