利用Python爬虫抓取猫眼电影排行（初入坑~正则表达式方式）

最新推荐文章于 2021-06-26 22:27:28 发布

来啦，小老弟~

最新推荐文章于 2021-06-26 22:27:28 发布

阅读量468

点赞数

分类专栏： python爬虫

本文链接：https://blog.csdn.net/yangwenjie12/article/details/81002636

版权

本文介绍了如何使用Python进行网络爬虫，抓取猫眼电影排行榜的数据。通过requests库获取网页内容，正则表达式解析HTML，提取电影排名、海报、名称、演员、上映时间和评分，并将数据保存到文件中。示例代码详细展示了爬虫的基本步骤，适合Python爬虫初学者参考。

摘要由CSDN通过智能技术生成

import requests
import json
import re
import time
from requests.exceptions import RequestException

def get_one_page(url):
    try:
        headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
        }

        response = requests.get(url, headers = headers)
        if response.status_code == 200:
            return response.text
        return None
    except RequestException:
        return None

def parse_one_page(html):
    pattern = re.compile('<dd>.*?board-index.*?>(.*?)</i>.*?data-src="(.*?)".*?name.*?a.*?>(.*?)</a>.*?star.*?>(.*?)</p>.*?releasetime.*?>(.*?)</p>.*?integer.*?>(.*?)</i>.*?fraction.*?>(.*?)</i>.*?</dd>',re.S)
    items = re.findall(pattern,html)

    for item in items:
        yield {
            'ind