Python网络爬虫案例实战：解析网页：正则表达式解析网页

Python网络爬虫案例实战：解析网页：正则表达式解析网页

正则表达式并不是Python的一部分。正则表达式是用于处理字符串的强大工具，拥有自己独特的语法以及一个独立的处理引擎，效率上可能不如str自带的方法，但功能十分强大。得益于这一点，在提供了正则表达式的语言中，正则表达式的语法都是一样的，区别只在于不同的编程语言实现支持的语法数量不同；但不用担心，不被支持的语法通常是不常用的部分。

图5-1展示了使用正则表达式进行匹配的流程。

正则表达式的大致匹配过程是：依次拿出表达式和文本中的字符比较，如果每一个字符都能匹配，则匹配成功；一旦有匹配不成功的字符则匹配失败。如果表达式中有量词或边界，那么这个过程会稍微有一些不同。

在提取网页中的数据时，可以先把源代码变成字符串，然后用正则表达式匹配想要的数据。使用正则表达式可以迅速地用极简单的方式实现字符串的复杂控制。

表5-1是常见的正则字符和含义。

下面介绍Python正则表达式的3种方法，分别是match、search 和findall。

5.2.1字符串匹配

本节利用 Python 中的re.match实现字符串匹配并找到匹配的位置。而re.match的意思是从字符串起始位置匹配一个模式，如果从起始位置匹配不了，match（）就返回none。re.match的语法格式为：

re.match（string[，pos[，endpos]]）| re.match（pattern，string[，flags]）

match只找到一次可匹配的结果即返回。
这个方法将从string的 pos下标处开始尝试匹配 pattern；如果 pattern结束时仍可匹配，则返回一个match对象；如果匹配过程中 pattern无法匹配，或者匹配未结束就已到达endpos，则返回none。pos 和 endpos的默认值分别为0和len（string）；re.match（）无法指定这两个参数，参数 flags用于编译pattern时指定匹配模式。
注意：这个方法并不是完全匹配。当pattern结束时，若 string还有剩余字符，则仍然视为成功。想要完全匹配，可以在表达式末尾加上边界匹配符’$'。

[例5-1）使用两个字符串匹配并找到匹配的位置。

# encoding: UTF-8 
import re 
m=re.match('www','www.taobao.com')
print('匹配的结果：',m)
print('匹配的起始与终点：',m.span())
print('匹配的起始位置：',m.start())
print('匹配的终点位置：',m.end())       

运行程序，输出如下：

匹配的结果： <re.Match object; span=(0, 3), match='www'>
匹配的起始与终点： (0, 3)
匹配的起始位置： 0
匹配的终点位置： 3 

上面例子中的pattern只是一个字符串，也可以把 pattern改成正则表达式，从而匹配具有一定模式的字符串，例如：

# encoding: UTF-8 
import re 

line = 'Fat apples are smarter than bananas, is it right?'

# 使用 re.match 进行匹配
m = re.match(r'(\w+) (\w+) (?P<sign>.*)', line)

# 检查是否匹配成功

print('匹配的整句话:', m.group(0))
print('匹配的第一个结果:', m.group(1))
print('匹配的第二个结果:', m.group(2))
print('匹配的结果列表:', m.groups())  # 使用 groups() 获取所有捕获组

运行程序，输出如下：

匹配的整句话: Fat apples are smarter than bananas, is it right?
匹配的第一个结果: Fat
匹配的第二个结果: apples
匹配的结果列表: ('Fat', 'apples', 'are smarter than bananas, is it right?')

为什么要在match的模式前加上r呢？
r’（\w+）（\w+）（？P.*）‘前面的r的意思是raw string，代表纯粹的字符串，使用它就不会对引号中的反斜杠八’进行特殊处理。因为在正则表达式中有一些类似’d’（匹配任何数字）的模式，所以模式中的单个反斜杠’'符号都要进行转义。
假如需要匹配文本中的字符""，使用编程语言表示的正则表达式里就需要4个反斜杠
“\\”，前两个反斜杠“\”和后两个反斜杠“\”各自在编程语言中转义成一个反斜杠“\”，
所以4个反斜杠“\\”就转义成了两个反斜杠“\”，这两个反斜杠“\”最终在正则表达式中转义成一个反斜杠“\”。

5.2.2起始位置匹配字符串

re.match只能从字符串的起始位置进行匹配，而re.search 扫描整个字符串并返回。re.search（）方法扫描整个字符串，并返回第一个成功的匹配，如果匹配失败，则返回 None。
与re.match（）方法不同，re.match（）方法要求必须从字符串的开头进行匹配，如果字符串的开头不匹配，那么整个匹配就失败了；re.search（）并不要求必须从字符串的开头进行匹配，也就是说，正则表达式可以是字符串的一部分。
re.search（）的语法格式为：

re.search（pattern，string，flags = 0）

其中，pattern：正则中的模式字符串。string：要被查找替换的原始字符串。flags：标志位，用于控制正则表达式的匹配方式，如：是否区分大小写、多行匹配等。
[例5-2]从起始位置匹配字符串演示实例。

import re  
content = 'Hello 123456789 Word_This is just a test 666 Test'
result = re.search('(\d+).*?(\d+).*', content)   
print(result)
print(result.group())    # print(result.group(0)) 同样效果字符串
print(result.groups())
print(result.group(1))
print(result.group(2))

运行程序，输出如下：

<re.Match object; span=(6, 49), match='123456789 Word_This is just a test 666 Test'>
123456789 Word_This is just a test 666 Test
('123456789', '666')
123456789
666

适当调用以下代码，可实现数字匹配。例如：

import re  
content = 'Hello 123456789 Word_This is just a test 666 Test'
result = re.search('(\d+)', content)   
print(result)
print(result.group())    # print(result.group(0)) 同样效果字符串
print(result.groups())
print(result.group(1))

运行程序，输出如下：

<re.Match object; span=(6, 15), match='123456789'>
123456789
('123456789',)
123456789

5.2.3所有子串匹配

re.findall（）在字符串中找到正则表达式所匹配的所有子串，并返回一个列表；如果没有找到匹配的，则返回空列表。返回结果是列表类型，需要遍历一下才能依次获取每组内容。re.findall（）的语法格式为：

findall（patern，string，flags = 0）

其中，pattern：正则中的模式字符串。string：要被查找替换的原始字符串。flags：标志位，用于控制正则表达式的匹配方式，如：是否区分大小写、多行匹配等。
[例5-3]匹配所有子串演示。

import re  
content = 'Hello 123456789 Word_This is just a test 666 Test'
results = re.findall('\d+', content)    
print(results)
for result in results:
    print(result)

运行程序，输出如下：

['123456789', '666']
123456789
666

findall与 match、search不同的是，findall能够找到所有匹配的结果，并且以列表的形式返回。

5.2.4Requests爬取猫眼电影排行

本节利用Requests库和正则表达式来爬取猫眼电影TOP100的相关内容。Requests比 urllib 使用更加方便，在此选用正则表达式来作为解析工具。
[例 5-4]利用 Requests 和正则表达式爬取猫眼电影排行信息。

#-*- coding: utf-8 -*-
import re
import os
import json
import requests
from multiprocessing import Pool
from requests.exceptions import RequestException

def get_one_page(url):
    '''
    获取网页html内容并返回
    '''
    try:
        # 获取网页html内容
        response = requests.get(url)
        # 通过状态码判断是否获取成功
        if response.status_code == 200:
            return response.text
        return None
    except RequestException:
        return None

def parse_one_page(html):
    '''
    解析HTML代码，提取有用信息并返回
    '''
    # 正则表达式进行解析
    pattern = re.compile('<dd>.*?board-index.*?>(\d+)</i>.*?data-src="(.*?)".*?name">'
        + '<a.*?>(.*?)</a>.*?"star">(.*?)</p>.*?releasetime">(.*?)</p>'
        + '.*?integer">(.*?)</i>.*?fraction">(.*?)</i>.*?</dd>', re.S)
    # 匹配所有符合条件的内容
    items = re.findall(pattern, html)

    for item in items:
        yield {
            'index': item[0],
            'image': item[1],
            'title': item[2],
            'actor': item[3].strip()[3:],
            'time': item[4].strip()[5:],
            'score': item[5] + item[6]
        }

def write_to_file(content):
    '''
    将文本信息写入文件
    '''
    with open('result.txt', 'a', encoding='utf-8') as f:
        f.write(json.dumps(content, ensure_ascii=False) + '\n')
        f.close()

def save_image_file(url, path):
    '''
    保存电影封面
    '''
    ir = requests.get(url)
    if ir.status_code == 200:
        with open(path, 'wb') as f:
            f.write(ir.content)
            f.close()

def main(offset):
    url = 'http://maoyan.com/board/4?offset=' + str(offset)
    html = get_one_page(url)
    # 封面文件夹不存在则创建
    if not os.path.exists('covers'):
        os.mkdir('covers')

    for item in parse_one_page(html):
        print(item)
        write_to_file(item)
        save_image_file(item['image'], 'covers/' + '%03d'%int(item['index']) + item['title'] + '.jpg')

if __name__ == '__main__':
    # 使用多进程提高效率
    pool = Pool()
    pool.map(main, [i*10 for i in range(10)])