Python网络爬虫与信息提取-Day12-Re（正则表达式）库入门

Re库的基本使用

Re库介绍

Re库是Python的标准库，主要用于字符串匹配

调用方式：

import re

正则表达式的表示类型

raw string类型（原生字符串类型）

re库采用raw string类型表示正则表达式，表示为：r'text'

例如： r'[1‐9]\d{5}'

r'\d{3}‐\d{8}|\d{4}‐\d{7}'

 

原生字符串类型和字符串类型不同的是，需要在字符串前面加一个小写的r

raw string是不包含对转义符再次转义的字符串

re库也可以采用string类型表示正则表达式，但更繁琐

例如：

'[1‐9]\\d{5}'

'\\d{3}‐\\d{8}|\\d{4}‐\\d{7}'

 

建议：当正则表达式包含转义符时，使用raw string

 

Re库主要的功能函数

函数	说明
re.search()	在一个字符串中搜索匹配正则表达式的第一个位置，返回match对象
re.match()	从一个字符串的开始位置起匹配正则表达式，返回match对象
re.findall()	搜索字符串，以列表类型返回全部能匹配的子串
re.split()	将一个字符串按照正则表达式匹配结果进行分割，返回列表类型
re.finditer()	搜索字符串，返回一个匹配结果的迭代类型，每个迭代元素是match对象
re.sub()	在一个字符串中替换所有匹配正则表达式的子串，返回替换后的字符串

 

 

1.re.search(pattern, string, flags=0)

在一个字符串中搜索匹配正则表达式的第一个位置，返回match对象

∙ pattern : 正则表达式的字符串或原生字符串表示

∙ string : 待匹配字符串

∙ flags  : 正则表达式使用时的控制标记

常用标记	说明
re.I re.IGNORECASE	忽略正则表达式的大小写，[A‐Z]能够匹配小写字符
re.M re.MULTILINE	正则表达式中的^操作符能够将给定字符串的每行当作匹配开始
re.S re.DOTALL	正则表达式中的.操作符能够匹配所有字符，默认匹配除换行外的所有字符

 

import re
match = re.search(r'[1-9]\d{5}','BIT 100081')
if match:
    print(match.group(0))

10081

 

2.re.match(pattern, string, flags=0)

从一个字符串的开始位置起匹配正则表达式，返回match对象

∙ pattern : 正则表达式的字符串或原生字符串表示

∙ string : 待匹配字符串

∙ flags  : 正则表达式使用时的控制标记

 

import re
match = re.match(r'[1-9]\d{5}','100081 BIT')
if match:
    print(match.group(0))
 

10081

 

match = re.match(r'[1-9]\d{5}','BIT 10081')
print(match.group(0))

AttributeError: 'NoneType' object has no attribute 'group'

说明现在re.match返回的这个match并没有一个属性叫做group，是空的

因为我们现在的字符串的起始位置并不是一个邮政编码，所以它没有匹配结果

所以我们要对一个匹配的结果进行使用的时候，一定要加if语句判断它是不是空的，如果是空的，要把这种情况排除掉.不能用空的函数去调用后面的方法，否则系统会报错

 

3.re.findall(pattern, string, flags=0)

搜索字符串，以列表类型返回全部能匹配的子串

∙ pattern : 正则表达式的字符串或原生字符串表示

∙ string : 待匹配字符串

∙ flags  : 正则表达式使用时的控制标记

 

import re
ls = re.findall(r'[1-9]\d{5}', 'BIT100081 TSU100084')
print(ls)
 

['100081', '100084']

 

4.re.split(pattern, string, maxsplit=0, flags=0)

将一个字符串按照正则表达式匹配结果进行分割，返回列表类型

∙ pattern : 正则表达式的字符串或原生字符串表示

∙ string : 待匹配字符串

∙ maxsplit: 最大分割数，剩余部分作为最后一个元素输出

∙ flags  : 正则表达式使用时的控制标记

  

print(re.split(r'[1-9]\d{5}', 'BIT100081 TSU100084'))

['BIT', ' TSU', '']

 

print(re.split(r'[1-9]\d{5}', 'BIT100081 TSU100084',maxsplit=1))

['BIT', ' TSU100084']

 

5.re.finditer(pattern, string, flags=0)

搜索字符串，返回一个匹配结果的迭代类型，每个迭代元素是match对象

∙ pattern : 正则表达式的字符串或原生字符串表示

∙ string : 待匹配字符串

∙ flags  : 正则表达式使用时的控制标记

 

for m in re.finditer(r'[1-9]\d{5}', 'BIT100081 TSU100084'):
    if m:
        print(m.group(0)) 

100081

100084

 

6.re.sub(pattern, repl, string, count=0, flags=0)

在一个字符串中替换所有匹配正则表达式的子串，返回替换后的字符串

∙ pattern : 正则表达式的字符串或原生字符串表示

∙ repl : 替换匹配字符串的字符串

∙ string : 待匹配字符串

∙ count  : 匹配的最大替换次数

∙ flags  : 正则表达式使用时的控制标记

 

print(re.sub(r'[1-9]\d{5}','zipcode', 'BIT100081 TSU100084'))

BITzipcode TSUzipcode

 

Re库的另一种等价用法

 

>>> rst = re.search(r'[1‐9]\d{5}', 'BIT 100081')

函数式用法：一次性操作

 

>>> pat = re.compile(r'[1‐9]\d{5}')

>>> rst = pat.search('BIT 100081')

面向对象用法：编译后的多次操作

 

regex = re.compile(pattern, flags=0)

将正则表达式的字符串形式编译成正则表达式对象

∙ pattern : 正则表达式的字符串或原生字符串表示

∙ flags  : 正则表达式使用时的控制标记

>>> regex = re.compile(r'[1‐9]\d{5}')

 

字符串或者原生字符串表示并不是一个正则表达式，它只是一种表示

我们如果通过compile生成一个对象regex，这个regex才是一个正则表达式，它代表了一组字符串

 

函数                     说明

regex.search()    在一个字符串中搜索匹配正则表达式的第一个位置，返回match对象

regex.match()     从一个字符串的开始位置起匹配正则表达式，返回match对象

regex.findall()      搜索字符串，以列表类型返回全部能匹配的子串

regex.split()        将一个字符串按照正则表达式匹配结果进行分割，返回列表类型

regex.finditer()    搜索字符串，返回一个匹配结果的迭代类型，每个迭代元素是match对象

regex.sub()         在一个字符串中替换所有匹配正则表达式的子串，返回替换后的字符串

 

我们将正则表达式对象去掉，只需要需要匹配的字符串对象就行了

 

Re库的Match对象

Match对象是一次匹配的结果，包含匹配的很多信息

import re

match = re.search(r'[1-9]\d{5}', 'BIT100081 TSU100084')
if match:
    print(match.group(0))
print(type(match))

100081

<class '_sre.SRE_Match'>

 

Match对象的属性

 

属性     说明

.string          待匹配的文本

.re                匹配时使用的patter对象（正则表达式）

.pos             正则表达式搜索文本的开始位置

.endpos       正则表达式搜索文本的结束位置

 

Match对象的方法

方法              说明

.group(0)      获得匹配后的字符串

.start()           匹配字符串在原始字符串的开始位置

.end()            匹配字符串在原始字符串的结束位置

.span()          返回(.start(), .end())

 

match = re.search(r'[1-9]\d{5}', 'BIT100081 TSU100084')
print(match.string)
print(match.re, match.pos, match.endpos)
print(match.group(0))
print(match.start(),match.end(),match.span())

BIT100081 TSU100084

re.compile('[1-9]\\d{5}') 0 19

100081

3 9 (3, 9)

 

Re库的贪婪匹配与最小匹配

实例：

>>> match = re.search(r'PY.*N', 'PYANBNCNDN')

>>> match.group(0)

同时匹配长短不同的多项，返回哪一个呢？

'PYANBNCNDN'

 

Re库默认采用贪婪匹配，即输出匹配最长的子串

 

如何输出最短的子串呢？

>>> match = re.search(r'PY.*?N', 'PYANBNCNDN')

>>> match.group(0)

'PYAN'

 

最小匹配

操作符 说明

*? 前一个字符0次或无限次扩展，最小匹配

+? 前一个字符1次或无限次扩展，最小匹配

?? 前一个字符0次或1次扩展，最小匹配

{m,n}? 扩展前一个字符m至n次（含n），最小匹配

只要长度输出可能不同的，都可以通过在操作符后增加?变成最小匹配