Python3爬虫——爬取猫眼电影排行

本文介绍了一种使用Python爬取猫眼电影排行榜前100名电影详细信息的方法,包括排名、影名、主演、上映时间、评分及海报链接,并通过JSON格式保存数据。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一.爬取猫眼电影排行

目标:提取猫眼电影TOP100的电影排名、名称、主演、上映时间、评分、海报链接。

URL:https://maoyan.com/board/4

保存:JSON

# 版本:Python3
# 目标:提取猫眼电影TOP100的电影影名、主演、上映时间、评分、海报链接。
# URL:https://maoyan.com/board/4
# 保存:JSON

import json
import requests
from requests.exceptions import RequestException
import re
import time

# 抓取首页,添加headers避免网站对爬虫的限制
def get_one_page(url):
    try:
        headers = {
            'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.92 Safari/537.36'
        }
        response = requests.get(url,headers=headers)
        if response.status_code == 200:
            return response.text
        return None
    except RequestException:
        return None

# 通过正则表达式提取内容,处理匹配结果,遍历提取结果并生成字典
def parse_one_page(html):
    pattern = re.compile('<dd>.*?board-index.*?>(\d+)</i>.*?data-src="(.*?)".*?name"><a'
                         + '.*?>(.*?)</a>.*?star">(.*?)</p>.*?releasetime">(.*?)</p>'
                         + '.*?integer">(.*?)</i>.*?fraction">(.*?)</i>.*?</dd>', re.S)
    items = re.findall(pattern,html)
    for item in items:
        yield {
            '排名':item[0],
            '海报链接':item[1],
            '影名':item[2],
            '主演':item[3].strip()[3:],
            '上映时间':item[4].strip()[5:],
            '评分':item[5]+item[6]
        }

# 将结果写入文件,通过JSON库的dumps()方法实现字典的序列化
def write_to_file(content):
    with open('猫眼排名.txt','a',encoding='utf-8') as f:
        f.write(json.dumps(content,ensure_ascii=False) + '\n')

# 分页爬取,offset为偏移量,构造URL进行爬取
def main(offset):
    url = 'https://maoyan.com/board/4?offset=' + str(offset)
    html = get_one_page(url)
    for item in parse_one_page(html):
        print(item)
        write_to_file(item)

if __name__ == '__main__':
    for i in range(10):
        main(offset=i*10)
        time.sleep(1)

注意:在看网页源代码写正则表达式的时候,不要在Elements选项中直接查看,因为这里的源码可能经过了JavaScript操作与原始请求不同,而是要从Network选项卡部分查看原始请求得到的源码。

 

二.运行结果

程序运行的部分结果如下:

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值