爬取网页内容(以爬取豆瓣top250榜单为例)

#引用包

import requests

#因为一页有25部电影，所以有10页，页差距为25

page_indexs = range(0, 250, 25)

#爬取函数

def download_all_htmls():

    """

    下载所有列表页面的HTML，用于后续的分析

    """

    htmls = []

    for idx in page_indexs:

        url = f"https://movie.douban.com/top250?start={idx}&filter="

        print("craw html:", url)

        r = requests.get(url,