Scrapy（七）：爬虫利器 -正则表达式

1. Python 正则表达式

re 模块使 Python 语言拥有全部的正则表达式功能。

compile 函数根据一个模式字符串和可选的标志参数生成一个正则表达式对象。该对象拥有一系列方法用于正则表达式匹配和替换。

re 模块也提供了与这些方法功能完全一致的函数，这些函数使用一个模式字符串做为它们的第一个参数。

1.1 re.match函数

re.match 尝试从字符串的起始位置匹配一个模式，如果不是起始位置匹配成功的话，match()就返回none。

re.match(pattern, string, flags=0)

函数参数说明：

参数描述pattern匹配的正则表达式string要匹配的字符串。flags标志位，用于控制正则表达式的匹配方式，如：是否区分大小写，多行匹配等等

import re
print(re.match('po', 'powers python big data').span()) # 在起始位置匹配
print(re.match('data', 'powers python big data')) # 不在起始位置匹配
>>>(0, 2)
 None

1.2 re.search函数

re.search 扫描整个字符串并返回第一个成功的匹配。

函数语法：

#re.search(pattern, string, flags=0)
print(re.search('pow', 'powers python big data').span()) # 在起始位置匹配
print(re.search('ata', 'powers python big data').span()) # 不在起始位置匹配
#(0, 3)
#(19, 22)

re.match只匹配字符串的开始，如果字符串开始不符合正则表达式，则匹配失败，函数返回None；而re.search匹配整个字符串，直到找到一个匹配。

1.3 检索和替换

Python 的 re 模块提供了re.sub用于替换字符串中的匹配项。

语法：re.sub(pattern, repl, string, count=0, flags=0)

参数：

• pattern : 正则中的模式字符串。
• repl : 替换的字符串，也可为一个函数。
• string : 要被查找替换的原始字符串。
• count : 模式匹配后替换的最大次数，默认 0 表示替换所有的匹配。

phone = "086-0532-8888 # 电话号码"
num = re.sub(r'#.*$', "", phone)
print ("the phone num is: ", num)
num = re.sub(r'\D', "", phone)
print ("the phone num is : ", num)
>>>the phone num is: 086-0532-8888 
the phone num is : 08605328888

1.4 re.compile 函数

compile 函数用于编译正则表达式，生成一个正则表达式（ Pattern ）对象，供 match() 和 search() 这两个函数使用。

语法格式为：

re.compile(pattern[, flags])

参数：

• pattern : 一个字符串形式的正则表达式
• flags : 可选，表示匹配模式，比如忽略大小写，多行模式等，具体参数为：

1. re.I 忽略大小写
2. re.L 表示特殊字符集 \w, \W, \b, \B, \s, \S 依赖于当前环境
3. re.M 多行模式
4. re.S 即为 . 并且包括换行符在内的任意字符（. 不包括换行符）
5. re.U 表示特殊字符集 \w, \W, \b, \B, \d, \D, \s, \S 依赖于 Unicode 字符属性数据库
6. re.X 为了增加可读性，忽略空格和 # 后面的注释

pattern = re.compile(r'powers', re.I) # re.I 表示忽略大小写
m = pattern.match('powers python big data')
print(m.group())
>>>powers

1.5 findall

在字符串中找到正则表达式所匹配的所有子串，并返回一个列表，如果没有找到匹配的，则返回空列表。

findall(string[, pos[, endpos]])

参数：

• string : 待匹配的字符串。
• pos : 可选参数，指定字符串的起始位置，默认为 0。
• endpos : 可选参数，指定字符串的结束位置，默认为字符串的长度。

pattern = re.compile(r'powers', re.I) # re.I 表示忽略大小写
a=pattern.findall("powers python big data,powers11 ,po")
print(a)
b=pattern.findall('powers python big data,powers11 ,po',0,12)
print(b)
>>>['powers', 'powers']
 ['powers']

match 和 search 是匹配一次 findall 匹配所有。

1.6 re.finditer

和 findall 类似，在字符串中找到正则表达式所匹配的所有子串，并把它们作为一个迭代器返回。

#re.finditer(pattern, string, flags=0)
pattern = re.compile(r'powers', re.I) # re.I 表示忽略大小写
c=pattern.finditer('powers python big data,powers11')
for it in c:
 print (it.group() )
>>>powers
powers

1.7 re.split

split 方法按照能够匹配的子串将字符串分割后返回列表，它的使用形式如下：

re.split(pattern, string[, maxsplit=0, flags=0])

pattern匹配的正则表达式string要匹配的字符串。maxsplit分隔次数，maxsplit=1 分隔一次，默认为 0，不限制次数。flags标志位，用于控制正则表达式的匹配方式，如：是否区分大小写，多行匹配等等。

pattern = re.compile(r'powers', re.I) # re.I 表示忽略大小写
d=pattern.split('powers python big data,powers11')
print(d)
>>>['', ' python big data,', '11']

2. 正则表达式模式

正则表达式模式

 

2.1 正则表达式实例

2.2 特殊字符类