爬取豆瓣电影排行榜top250

爬取豆瓣电影top250

平时不知道看什么电影，正好最近学习了爬虫，自己试着把电影排行下载下来，边看边学两不误。
下面直接上代码：

import requests
from bs4 import BeautifulSoup


# 爬取网页源码
def download_page(url):
    headers={
   
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.80 Safari/537.36'
    }
    req = requests.get(url=url, headers=headers)
    return req.content

# 爬取单页电影名返回列表
def get_page_list(html