我们在前面学习了正则表达式的基本语法,但是并没有学习如何使用这个库来爬取我们期望的信息,故这篇文章作为一个补充
Re库是Python的标准库,用于字符串的匹配
(只要安装了python的解析器,就不用额外安装)
Re库的调用及基本语法
import re
正则表达式的表示类型
- raw string类型(原生字符串类型)
re库采用了raw string类型表示正则表达式,表示为:r’text’
e.g. r’[1-9]\d{5}’
r’\d{3}-\d{8}|\d{4}-\d{7}
raw string 不是包含转义符的字符串 - string 类型,更繁琐
会将\理解为转义符
Re库函数
一些基本的函数如下:
函数 | 描述 |
---|---|
re.search() | 在一个字符中搜索匹配正则表达式的第一个位置,返回match对象 |
re.match() | 从一个字符串开始位置起匹配正则表达式,返回match()对象 |
re.findall() | 搜索字符串,以列表类型返回全部能匹配的子串 |
re.split() | 将一个字符串按照正则表达式匹配结果进行分割,返回列表类型 |
re.finditer() | 搜索字符串,返回一个匹配结果的迭代类型,每个迭代元素是match对象 |
re.sub() | 在一个字符串中替换所有的匹配正则表达式的子串,返回替换后的字符串 |
下面具体介绍各函数
- re.search(pattern, string, flags=0)
其中
pattern: 正则表达式的字符串或原生字符串表示
string:待匹配的字符串
flags:正则表达式使用时的控制标记
flags其常用标记如下:
常用标记 | 描述 |
---|---|
re.I re.IGNORECASE | 忽略正则表达式的大小写,[A-Z]能够匹配小写字符 |
re.M re.MULTILINE | 正则表达式中的^操作符能将给定的字符串的每行当作匹配开始 |
re.S re.DOTALL | 正则表达式中的.操作符能匹配所有的字符,默认匹配除换行外的所有字符 |
e.g.
import re
match = re.search(r'[1-9]\d{5}', 'BIT 100081')
if match:
print(match.group(0))
- re.match(pattern, string, flags=0)
同上参数
e.g.
import re
match = re.match(r'[1-9]\d{5}', 'BIT 100081')
if match:
print(match.group(0))
但是上述代码不会有结果,这是由于match是从字符串的第一个位置开始的,并不是邮政编码,故会错误,即是空的
故我们可以修改代码,可得到正确结果
match = re.match(r'[1-9]\d{5}', '100081 BIT')
- re.findall(pattern, string, flags=0)
同上参数
e.g.
import re
match = re.findall(r'[1-9]\d{5}', 'BIT100081 TSU100084')
if match:
print(match.groups)
可将编码100081和100084全部打印
- re.split(pattern, string,maxsplit=0, flags=0)
maxsplit: 最大分割数,剩余部分作为最后一个元素输出
e.g.
import re
match = re.split(r'[1-9]\d{5}', 'BIT100081 TSU100084')
#输出将是{'BIT', ' TSU', ''}
match = re.split(r'[1-9]\d{5}', 'BIT100081 TSU100084',maxsplit=1)
#输出为{'BIT', ' TUS100084'}
- re.finditer(pattern, string,maxsplit=0, flags=0)
同上参数
import re
for m in re.finditer(r'[1-9]\d{5}', 'BIT100081 TSU100084'):
if m:
print(m.group(0))
#输出为
#100081
#100084
- re.sub(pattern, repl,string,maxsplit=0, count=0,flags=0)
repl: 替换匹配字符串的字符串
count: 匹配的最大替换次数
其余参数一样
e.g.
import re
re.sub(r'[1-9]\d{5}', ':zipcode', 'BIT00081 TSU100084')
#输出为'BIT:zipcode TSU: zipcode'
等价用法
- 函数式用法:一次性操作
e.g.
rst = re.search(r'[1-9]\d{5}', 'BIT 100081')
- 面向对象用法:编译后的多次操作
e.g.
pat = re.compile(r'[1-9]\d{5}')
rst = pat.search('BIT 100081')
介绍一下
regex = re.compile(pattern, flags=0)
将正则表达式的字符串形式编译成正则表达式对象
e.g.
regex = re.compile(r'[1-9]\d{5}')
Re库的match对象
我们可以看到前面的函数都返回了match对象,即匹配的结果,包含很多匹配信息
其属性:
属性 | 描述 |
---|---|
.string | 待匹配的文本 |
.re | 匹配时使用的pattern对象 |
.pos | 正则表达式搜索文本的开始位置 |
.endpos | 正则表达式搜索文本的结束位置 |
e.g.
import re
m = re.search(r'[1-9]\d{5}', 'BIT100081 TSU100084')
m.string
#输出 'BIT100081 TSU100084'
m.re
#输出re.complie('[1-9]\\d{5}')
m.pos
#输出0
m.endpos
#输出19
m.group(0)
#输出'100081'
m.start()
#输出3
m.end()
#输出9
Re库的贪婪匹配和最小匹配
e.g.
match = re.search(r'PY.*N', 'PYANBNCNDN')
match.group(0)
- 贪婪匹配
Re库默认采用贪婪匹配,即输出匹配最长的子串
即上述例子返回’PYANBNCNDN’ - 最小匹配
修改代码(加个问号即可输出最短)
match = re.search(r’PY.*?N’, ‘PYANBNCNDN’)
最小匹配操作符我们在正则表示式的基本概念中提到过,这里就不再阐述
第三篇关于爬虫Re库(即正则表达式)的使用的补充就到此结束啦!