猫眼电影排行榜前100爬取案例学习笔记

最近在学习崔庆才老师著作的《python3 网络爬虫开发实战》，对爬取猫眼排名榜前100电影的讲解案例，产生一些小想法，结合pandas 在数据分析方面的应用，给出以下学习笔记，作为rockyliu学习爬虫成长道路上的one small step.

话不多说，先汇总本次爬取的目标：

• 1）获取猫眼排名榜前100电影
• 2）获取前100电影图片存放在本地
• 3）获取前100电影的英文名称
• 4）通过百度百科获取电影区域归属
• 5）展示前100电影的上映时间分布
• 6）展示参演频率最高的前5位演员及所参演电影

是不是感觉rockyliu有点贪，让我们拭目以待吧。

实现目标1：获取猫眼排名榜前100电影

先上效果图：

如效果图，通过爬虫代码，从猫眼电影排行榜上，获取前100的电影的相关信息（排名/电影海报地址/电影名/主演/上映时间/评分）。接下来上代码，供大家参考学习：

import requests
import re
import time
from requests.exceptions import RequestException
import pandas as pd 

#先定义一个获取网站源代码的方法
def get_one_page(url):
#使用try方法，防止程序中断报错
    try:
        headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36'}    
        response = requests.get(url,headers=headers)
        if response.status_code == 200:
            return response.text
        return None
    except RequestException:
        return None
#   rockyliu 偏好 写出print('wrong1:获取一个网站源代码出错')，便于快速查找问题

#定义一个对源代码解析，并利用正则表达式获取想要的值，再结合pandas库，生成pandas.DataFrame数据
def parse_one_page(html):
#该处的正则表达式，可能会随着时间推移而改变，若报错，请读者自行更新哟
    pattern = re.compile(
            '<dd>.*?board-index.*?>(.*?)</i>.*?data-src="(.*?)".*?name.*?a.*?>(.*?)</a>.*?star.*?>(.*?)</p>.*?releasetime.*?>(.*?)</p>.*?integer.*?>(.*?)</i>.*?fraction.*?>(.*?)</i>.*?</dd>',re.S)
    items = re.findall(pattern,html)
    pf = pd.DataFrame()   
    for item in items:
        a = [item[0],item[1],item[2].strip(),item[3].strip()[3:] if len(item[3])>3 else '',item[4].strip()[5:] if len(item[4])>5 else '',item[5].strip()+item[6].strip()]
#需要注意item[5]代表评分整数，item[6]代表评分小数，因此合计评分要两者相加
        pf_ = pd.DataFrame(a)
        pf = pd.concat([pf,pf_.T])   #要注意pf_.T，即转置小细节，否则会报错哟
    yield pf
'''通过yield函数生成一个汇总的pd.DataFrame数据（小细节，yield 只能存在函数表达式中（def balaba:），否则就会出现outside function报错  ）    
'''
#定义一个写入文档函数：
def write_to_file(offset):
    url = 'https://maoyan.com/board/4?offset='+str(offset)
    html = get_one_page(url)
    for item in parse_one_page(h