python爬虫实战——爬取猫眼电影TOP100并导入excel表

系列文章目录

python爬虫实战——爬取淘宝商品信息并导入EXCEL表格（超详细）.

python多线程爬取壁纸 妈妈再也不担心我没壁纸了！.

python爬虫爬取虎牙数据（简单利用requests库以及Beautifulsoup）.

python爬虫之爬取壁纸（新手入门级）.

---

前言

上一篇博客具体写了正则表达式的基本操作。
所以本文使用re正则库对猫眼电影前100名的电影数据（电影排名，电影名称，电影主演以及电影评分）进行爬取，使用selenium库刷新页面（防止获取页面html失败），最后将数据导入Excel表格。大致思路与上一篇爬取淘宝数据类似
ps：代码只用于学习不用于任何商业用途
最后效果如图所示

---

提示：以下是本篇文章正文内容

一、解析URL组成

第一页URL组成为：https://maoyan.com/board/4?offset=0
第二页URL组成为：https://maoyan.com/board/4?offset=10
由此可以得出页面变动的规则在于后面offset的参数

二、利用正则表达式获取所需的数据

打开开发者工具可见下图

可以得到正则表达式如下（示例）：

rank = re.findall(r'<dd>.*?board-index.*?>(.*?)</i>', html, re.S)
title = re.findall(r'<p.*?name.*?title="(.*?)".*?</p>', html, re.S)
star = re.findall(r'<p.*?star">(.*?)</p>', html, re.S)
score = re.findall(r'p.*?score.*?integer">(.*?)</i>.*?fraction.*?(\d).*?</p>', html, re.S)

对于正则表达式不明白的可以参考我的上一篇博客：
python爬虫入门必会的操作—正则表达式（详解）.

2.数据的优化

我们得到的star和score数据中，star里有很多空格和换行，所以我们用strip()方法去掉，并用replace（）方法将匹配到的主演转为空
同时score得到的数据需要两项加起来
代码如下：

star[i].strip().replace('主演：', ''),
score[i][0] + score[i][1])

---

三、使用selenium模拟网页刷新

在爬取的途中我发现网站需要刷新才能获得我们所需要的html内容所以我们需要selenium代替我们人工刷新（或者自己手动刷新）
刷新网页代码如下：

from selenium import webdriver
driver = webdriver.Chrome()
driver.maximize_window()
driver.get('https://maoyan.com/board/4?offset=0')
driver.refresh()

四、总体的函数和代码编写

1.获取html内容

def Get_html(url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; .NET4.0C; .NET4.0E; .NET CLR 2.0.50727; .NET CLR 3.0.30729; .NET CLR 3.5.30729; InfoPath.3; rv:11.0) like Gecko',
    }
    r = requests.get(url, headers=headers)
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    return r.text

2.正则表达式获取信息

def Get_Xx(html):
    x = []
    rank = re.findall(r'<dd>.*?board-index.*?>(.*?)</i>', html, re.S)
    title = re.findall(r'<p.*?name.*?title="(.*?)".*?</p>', html, re.S)
    star = re.findall(r'<p.*?star">(.*?)</p>', html, re.S)
    score = re.findall(r'p.*?score.*?integer">(.*?)</i>.*?fraction.*?(\d).*?</p>', html, re.S)
    for i in range(0, 10):
        x.append((rank[i], title[i], star[i].strip().replace('主演：', ''), score[i][0] + score[i][1]))
    return x

3.获取每页的网页链接

def Url_list():
    urls = ['https://maoyan.com/board/4?offset=0']
    for i in range(10, 91, 10):
        url = 'https://maoyan.com/board/4?offset=' + str(i)
        urls.append(url)
    return urls

4.将信息写入excel表

def Write_intoExcel(x):
    global count
    for i in range(len(x)):
        worksheet.write(count + i + 1, 0, x[i][0])
        worksheet.write(count + i + 1, 1, x[i][1])
        worksheet.write(count + i + 1, 2, x[i][2])
        worksheet.write(count + i + 1, 3, x[i][3])
    print(x)
    count = count + len(x)

5.主函数及开头的编写

开头：

import re
import time

import requests
import xlsxwriter
from selenium import webdriver

workbook = xlsxwriter.Workbook('电影.xlsx')
worksheet = workbook.add_worksheet()
worksheet.set_column('A:A', 20)
worksheet.set_column('B:B', 20)
worksheet.set_column('C:C', 70)
worksheet.set_column('D:D', 20)
worksheet.write('A1', '排名')
worksheet.write('B1', '名字')
worksheet.write('C1', '主演')
worksheet.write('D1', '评分')

主函数：

if __name__ == "__main__":
    driver = webdriver.Chrome()
    driver.maximize_window()
    driver.get('https://maoyan.com/board/4?offset=0')
    x = []
    count = 0
    urls = Url_list()
    for url in urls:
        html = Get_html(url)
        x = Get_Xx(html)
        Write_intoExcel(x)
        time.sleep(5) # 这里设置了每5s进行一次页面刷新
        driver.refresh()
    workbook.close()

最后完整代码：

# -*- coding: utf-8 -*-
# @Time    : 2020/11/17 17:00
# @Author  : cc
# @E-mail  : 1215177216@qq.com
# @Site    : 
# @File    : 猫眼电影.py
# @Software: PyCharm
# 本代码只用于学习！
import re
import time
import requests
import xlsxwriter
from selenium import webdriver

workbook = xlsxwriter.Workbook('电影.xlsx')
worksheet = workbook.add_worksheet()
worksheet.set_column('A:A', 20)
worksheet.set_column('B:B', 20)
worksheet.set_column('C:C', 70)
worksheet.set_column('D:D', 20)
worksheet.write('A1', '排名')
worksheet.write('B1', '名字')
worksheet.write('C1', '主演')
worksheet.write('D1', '评分')


def Get_html(url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; .NET4.0C; .NET4.0E; .NET CLR 2.0.50727; .NET CLR 3.0.30729; .NET CLR 3.5.30729; InfoPath.3; rv:11.0) like Gecko',
    }
    r = requests.get(url, headers=headers)
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    return r.text


def Get_Xx(html):
    x = []
    rank = re.findall(r'<dd>.*?board-index.*?>(.*?)</i>', html, re.S)
    title = re.findall(r'<p.*?name.*?title="(.*?)".*?</p>', html, re.S)
    star = re.findall(r'<p.*?star">(.*?)</p>', html, re.S)
    score = re.findall(r'p.*?score.*?integer">(.*?)</i>.*?fraction.*?(\d).*?</p>', html, re.S)
    for i in range(0, 10):
        x.append((rank[i], title[i], star[i].strip().replace('主演：', ''), score[i][0] + score[i][1]))
    return x


def Write_intoExcel(x):
    global count
    for i in range(len(x)):
        worksheet.write(count + i + 1, 0, x[i][0])
        worksheet.write(count + i + 1, 1, x[i][1])
        worksheet.write(count + i + 1, 2, x[i][2])
        worksheet.write(count + i + 1, 3, x[i][3])
    print(x)
    count = count + len(x)


def Url_list():
    urls = ['https://maoyan.com/board/4?offset=0']
    for i in range(10, 91, 10):
        url = 'https://maoyan.com/board/4?offset=' + str(i)
        urls.append(url)
    return urls


if __name__ == "__main__":
    driver = webdriver.Chrome()
    driver.maximize_window()
    driver.get('https://maoyan.com/board/4?offset=0')
    x = []
    count = 0
    urls = Url_list()
    for url in urls:
        html = Get_html(url)
        x = Get_Xx(html)
        Write_intoExcel(x)
        time.sleep(5)
        driver.refresh()
    workbook.close()

总结

最后觉得写的好的