用Python爬取猫眼电影排行榜TOP100

最新推荐文章于 2024-05-14 14:07:38 发布

尧十三decode

最新推荐文章于 2024-05-14 14:07:38 发布

阅读量2.7k

点赞数 7

分类专栏： python 文章标签： python

本文链接：https://blog.csdn.net/sinat_42349312/article/details/82958593

版权

python 专栏收录该内容

11 篇文章 0 订阅

订阅专栏

用Python爬取猫眼电影排行榜TOP100

参考资料《Python3网络爬虫开发实践》，作者崔庆才

这篇博客参考了崔庆才的《Python3网络爬虫开发实践》有关部分，记录了爬取猫眼电影网排名前100的电影信息的过程。
主要步骤有：

访问网站，获取页面源码
解析页面，得到想要的数据
循环爬取多个页面
把数据写入本地文件

1. 分析需要爬取的页面结构

访问猫眼电影。观察页面，会看到首页上有排名前十的电影信息。
找到页面中的分页，点击不同的页码。对比不同页面url的差别，会发现不同的分页是以offset参数作为区分的。
因为每个页面都显示10条电影信息，所以offset是以10作为偏移量的。所以第1页的offset=0，第2页的offset=10，第3页的offset=20，后面的页面也是以此类推。

2. 抓取首页

2.1 获取首页的源码

首先定义一个方法，请求页面，并获得页面源码：

import requests

def get_one_page(url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.162 Safari/537.36'
    }
    response = requests.get(url, headers=headers)
    if response.status_code == 200:
        return response.text
    return None

def main():
    url = 'http://maoyan.com/board/4'
    html = get_one_page(url)
    print(html)
    
main()

在打印结果中，可以看到页面的源码已经返回。
获取到的源码中，有很多的信息不是我们需要的，这时候，需要把有用的信息提取出来。

2.2 使用正则提取信息

使用谷歌浏览器的开发者工具查看页面的源代码，可以发现我们需要的信息都包含在

标签中。
排名信息包含在class为board-index的i标签中；
片名信息包含在class为name的p标签内的a标签中；
主演姓名包含在class为star的p标签中；
上映日期包含在class为releasetime的p标签中；
评分分别包含在class为integer和fraction的i标签中；
电影封面图在class为board-img的img的src属性中；
因此，可以写一个正则表达式来提取一个电影的上述信息:

<dd>.*?board-index.*?>(\d+)</i>.*?data-src="(.*?)".*?name"><a.*?>(.*?)</a>.*?star">(.*?)</p>.*?releasetime">(.*?)</p>.*?integer">(.*?)</i>.*?fraction">(.*?)</i>.*?</dd>

把上面的正则表达式加入到代码中：

import requests
import re

def get_one_page(url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.162 Safari/537.36'
    }
    response = requests.get(url, headers=headers)
    if response.status_code == 200:
        return response.text
    return None

def parse_one_page(html):
    pattern = re.compile('<dd>.*?board-index.*?>(\d+)</i>.*?data-src="(.*?)".*?name"><a'
                         + '.*?>(.*?)</a>.*?star">(.*?)</p>.*?releasetime">(.*?)</p>'
                         + '.*?integer">(.*?)</i>.*?fraction">(.*?)</i>.*?</dd>', re.S)
    items = re.findall(pattern, html)
    print(items)

def main():
    url = 'http://maoyan.com/board/4'
    html = get_one_page(url)
    parse_one_page(html)

main()

输出结果如下：
输出结果截图.png
可以看到，上面的输出结果可读性不是很好，把方法parse_one_page改进如下：

def parse_one_page(html):
    pattern = re.compile('<dd>.*?board-index.*?>(\d+)</i>.*?data-src="(.*?)".*?name"><a'
                         + '.*?>(.*?)</a>.*?star">(.*?)</p>.*?releasetime">(.*?)</p>'
                         + '.*?integer">(.*?)</i>.*?fraction">(.*?)</i>.*?</dd>', re.S)
    items = re.findall(pattern, html)
    for item in items:
        yield {
            'index': item[0],
            'image': item[1],
            'title': item[2],
            'actor': item[3].strip()[3:],
            'time': item[4].strip()[5:],
            'score': item[5] + item[6]
        }

至此，单页的电影信息已经获取完毕。
接着将获取到的信息保存到文本文件中，以供后续的使用。

2.3 写入文件

使用JSON库的dumps()方法实现字典的序列化，并指定ensure_ascii参数为false，这样可以保证输出结果是中文形式，整理代码如下：

import requests
import re
import json

def get_one_page(url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.162 Safari/537.36'
    }
    response = requests.get(url, headers=headers)
    if response.status_code == 200:
        return response.text
    return None

def parse_one_page(html):
    pattern = re.compile('<dd>.*?board-index.*?>(\d+)</i>.*?data-src="(.*?)".*?name"><a'
                         + '.*?>(.*?)</a>.*?star">(.*?)</p>.*?releasetime">(.*?)</p>'
                         + '.*?integer">(.*?)</i>.*?fraction">(.*?)</i>.*?</dd>', re.S)
    items = re.findall(pattern, html)
    for item in items:
        yield {
            'index': item[0],
            'image': item[1],
            'title': item[2],
            'actor': item[3].strip()[3:],
            'time': item[4].strip()[5:],
            'score': item[5] + item[6]
        }

def write_to_file(content):
    with open('top100.txt', 'a', encoding='utf-8') as f:
        f.write(json.dumps(content, ensure_ascii=False)+'\n')
        
def main():
    url = 'http://maoyan.com/board/4'
    html = get_one_page(url)
    for item in parse_one_page(html):
        print(item)
        write_to_file(item)
        
main()

这时候就会发现本地多了一个名为top100.txt的文件，打开查看，里面存放了首页排名前10的电影的各个信息。
接下来爬取另外页面的电影信息。

3. 爬取其余页面

爬取其余页面，只需要对应调整url的offset参数即可，改写main方法如下：

def main(offset):
    url = 'http://maoyan.com/board/4?offset=' + str(offset)
    html = get_one_page(url)
    for item in parse_one_page(html):
        print(item)
        write_to_file(item)

if __name__ == '__main__':
    for i in range(10):
        main(offset=i*10)
        time.sleep(1)

为了防止过快请求页面，被封，加入一个延时等待，最终代码如下：

import json
import requests
from requests.exceptions import RequestException
import re
import time

def get_one_page(url):
    try:
        headers = {
            'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.162 Safari/537.36'
        }
        response = requests.get(url, headers=headers)
        if response.status_code == 200:
            return response.text
        return None
    except RequestException:
        return None

def parse_one_page(html):
    pattern = re.compile('<dd>.*?board-index.*?>(\d+)</i>.*?data-src="(.*?)".*?name"><a'
                         + '.*?>(.*?)</a>.*?star">(.*?)</p>.*?releasetime">(.*?)</p>'
                         + '.*?integer">(.*?)</i>.*?fraction">(.*?)</i>.*?</dd>', re.S)
    items = re.findall(pattern, html)
    for item in items:
        yield {
            'index': item[0],
            'image': item[1],
            'title': item[2],
            'actor': item[3].strip()[3:],
            'time': item[4].strip()[5:],
            'score': item[5] + item[6]
        }

def write_to_file(content):
    with open('top100.txt', 'a', encoding='utf-8') as f:
        f.write(json.dumps(content, ensure_ascii=False) + '\n')

def main(offset):
    url = 'http://maoyan.com/board/4?offset=' + str(offset)
    html = get_one_page(url)
    for item in parse_one_page(html):
        print(item)
        write_to_file(item)

if __name__ == '__main__':
    for i in range(10):
        main(offset=i * 10)
        time.sleep(1)

查看top100.txt，会发现排名前100名的电影信息已经整齐的写入到了文件中。

尧十三decode

关注

7
点赞
踩
19

收藏

觉得还不错? 一键收藏
3
评论
用Python爬取猫眼电影排行榜TOP100

用Python爬取猫眼电影排行榜TOP100参考资料《Python3网络爬虫开发实践》，作者崔庆才这篇博客参考了崔庆才的《Python3网络爬虫开发实践》有关部分，记录了爬取猫眼电影网排名前100的电影信息的过程。主要步骤有：访问网站，获取页面源码解析页面，得到想要的数据循环爬取多个页面把数据写入本地文件1. 分析需要爬取的页面结构访问猫眼电影。观察页面，会看到首页上有排名...
复制链接

扫一扫