爬虫学习之01-request模块爬取豆瓣电影

"""
    获取豆ban电影中的电影:https://movie.****.com/
    代码仅供学习
    date:2020-05-23
"""


import requests

if __name__ == '__main__':
    start = input('输入数字(从第几部电影开始取,0开始):')
    limit = input('输入数字(一次获取几部电影):')

    # 1.指定URL
    url = 'https://movie.****.com/j/chart/top_list'

    # 2.UA伪装
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3947.100 Safari/537.36'
    }

    # 3.参数
    params = {
        'type': '24',   # 喜剧
        'interval_id': '100:90',   # 好于100%-90%的电影
        'action': '',
        'start': start,  # 从电影的第几部开始取
        'limit': limit  # 一次取几部电影
    }


    # 4.发起get请求
    resp = requests.get(url=url, headers=headers, params=params)

    # 5.获取数据
    page_dic = resp.json()

    for i in page_dic:
        print(i)