Python编程快速上手—2.自动化任务之正则表达式

自动化任务

1. 模式匹配与正则表达式

Python 中所有正则表达式的函数都在 re 模块中。

1.1 Regex对象与Match对象

向 re.compile()传入一个字符串值，表示正则表达式，它将返回一个Regex模式对象（或者就简称为 Regex 对象）。

phoneNumRegex = re.compile(r'\d\d\d-\d\d\d-\d\d\d\d')

Regex 对象的 search()方法查找传入的字符串，寻找该正则表达式的所有匹配。如
果字符串中没有找到该正则表达式模式，search()方法将返回 None。如果找到了该模式，
search()方法将返回一个 Match对象。

Match对象有一个 group()方法，它返回被查找字符串中实际匹配的文本。

>>> phoneNumRegex = re.compile(r'\d\d\d-\d\d\d-\d\d\d\d')
>>> mo = phoneNumRegex.search('My number is 415-555-4242.')
>>> print('Phone number found: ' + mo.group())
Phone number found: 415-555-4242

虽然在 Python 中使用正则表达式有几个步骤，但每一步都相当简单。

1. 用 import re 导入正则表达式模块。
2. 用 re.compile()函数创建一个 Regex 对象（记得使用原始字符串）。
3. 向 Regex 对象的 search()方法传入想查找的字符串。它返回一个 Match 对象。
4. 调用 Match 对象的 group()方法，返回实际匹配文本的字符串。

graph LR
A[正则表达式模式]-->|调用re.compile|B[Regex 对象]
B[Regex 对象]-->|调用 search|c[Match 对象]

1.2 用正则表达式匹配更多模式

1.2.1 利用括号分组

假定想要将区号从电话号码中分离。添加括号将在正则表达式中创建“分组”：
(\d\d\d)-(\d\d\d-\d\d\d\d)。然后可以使用 group()匹配对象方法，从一个分组中获取匹
配的文本。

正则表达式字符串中的第一对括号是第 1 组。第二对括号是第 2 组。向 group()
匹配对象方法传入整数 1 或 2，就可以取得匹配文本的不同部分。向 group()方法传
入 0 或不传入参数，将返回整个匹配的文本。

>>> phoneNumRegex = re.compile(r'(\d\d\d)-(\d\d\d-\d\d\d\d)')
>>> mo = phoneNumRegex.search('My number is 415-555-4242.')
>>> mo.group(1)
'415'
>>> mo.group(2)
'555-4242'
>>> mo.group(0)
'415-555-4242'
>>> mo.group()
'415-555-4242'

如果想要一次就获取所有的分组，请使用 groups()方法，mo.groups()返回多个值的元组。

>>> mo.groups()
('415', '555-4242')
>>> areaCode, mainNumber = mo.groups()
>>> print(areaCode)
415
>>> print(mainNumber)
555-4242

括号在正则表达式中有特殊的含义，但是如果你需要在文本中匹配括号，需要用倒斜杠对(和)进行字符转义。

1.2.2 用管道匹配多个分组

字符|称为“管道”。正则表达式 r’Batman|Tina Fey’将匹配’Batman’或’Tina Fey’。

如果 Batman 和 Tina Fey 都出现在被查找的字符串中，第一次出现的匹配文本，
将作为 Match 对象返回。

>>> heroRegex = re.compile (r'Batman|Tina Fey')
>>> mo1 = heroRegex.search('Batman and Tina Fey.')
>>> mo1.group()
'Batman'
>>> mo2 = heroRegex.search('Tina Fey and Batman.')
>>> mo2.group()
'Tina Fey'

假设你希望匹配’Batman’、‘Batmobile’、'Batcopter’和’Batbat’中任意一个。因为所有这
些字符串都以 Bat 开始，所以如果能够只指定一次前缀。

>>> batRegex = re.compile(r'Bat(man|mobile|copter|bat)')
>>> mo = batRegex.search('Batmobile lost a wheel')
>>> mo.group()
'Batmobile'
>>> mo.group(1)
'mobile'

mo.group()返回了完全匹配的文本’Batmobile’，而mo.group(1)只是返回第一个括号分组内匹配的文本’mobile’。

1.2.3 用问号实现可选匹配

字符?表明它前面的分组在这个模式中是可选的,不论这段文本在不在，正则表达式都会认为匹配。

可以认为?是在说，“匹配这个问号之前的分组零次或一次”。

>>> batRegex = re.compile(r'Bat(wo)?man')
>>> mo1 = batRegex.search('The Adventures of Batman')
>>> mo1.group()
'Batman'
>>> mo2 = batRegex.search('The Adventures of Batwoman')
>>> mo2.group()
'Batwoman'

1.2.4 用星号匹配零次或多次

*（称为星号）意味着“匹配零次或多次”，即星号之前的分组，可以在文本中出Python 编程快速上手——让繁琐工作自动化现任意次。

>>> batRegex = re.compile(r'Bat(wo)*man')
>>> mo1 = batRegex.search('The Adventures of Batman')
>>> mo1.group()
'Batman'
>>> mo2 = batRegex.search('The Adventures of Batwoman')
>>> mo2.group()
'Batwoman'
>>> mo3 = batRegex.search('The Adventures of Batwowowowoman')
>>> mo3.group()
'Batwowowowoman'

1.2.5 用加号匹配一次或多次

+（加号）则意味着“匹配一次或多次”。加号前面的分组必须“至少出现一次”。

正则表达式 Bat(wo)+man 不会匹配字符串’The Adventures of Batman’，因为加号
要求 wo 至少出现一次。

1.2.6 用花括号匹配特定次数

如果想要一个分组重复特定次数，就在正则表达式中该分组的后面，跟上花括号包围的数字。例如，正则表达式(Ha){3}将匹配字符串’HaHaHa’。

除了一个数字，还可以指定一个范围，即在花括号中写下一个最小值、一个逗号和
一个最大值。例如，正则表达式(Ha){3,5}将匹配’HaHaHa’、‘HaHaHaHa’和’HaHaHaHaHa’。

也可以不写花括号中的第一个或第二个数字，不限定最小值或最大值。

(Ha){3,}将匹配 3 次或更多次实例，(Ha){,5}将匹配 0 到 5 次实例。

1.3 贪心和非贪心匹配

Python 的正则表达式默认是“贪心”的，这表示在有二义的情况下，它们会尽可能匹配最长的字符串。

花括号的“非贪心”版本匹配尽可能最短的字符串，即在结束的花括号后跟着一个问号。

>>> greedyHaRegex = re.compile(r'(Ha){3,5}')
>>> mo1 = greedyHaRegex.search('HaHaHaHaHa')
>>> mo1.group()
'HaHaHaHaHa'
>>> nongreedyHaRegex = re.compile(r'(Ha){3,5}?')
>>> mo2 = nongreedyHaRegex.search('HaHaHaHaHa')
>>> mo2.group()
'HaHaHa

问号在正则表达式中可能有两种含义：声明非贪心匹配或表示可选的分组。这两种含义是完全无关的。

1.4 findall()方法

除了search方法外，Regex对象也有一个findall()方法。

search()将返回一个Match对象，包含被查找字符串中的“第一次”匹配的文本

findall()方法将返回一组字符串，包含被查找字符串中的所有匹配。

如果在正则表达式中有分组，那么 findall 将返回元组的列表。每个元组表示一个找
到的匹配，其中的项就是正则表达式中每个分组的匹配字符串。

import re


message = 'Cell: 415-555-9999 Work: 212-555-0000'
numberRex1 = re.compile(r'\d{3}-\d{3}-\d{4}')
numberRex2 = re.compile(r'(\d{3})-(\d{3}-\d{4})')
num = numberRex1.search(message)
print(num.group())
numList1 = numberRex1.findall(message)
numList2 = numberRex2.findall(message)
print(numList1)
print(numList2)
print(numList1[0])
print(numList2[0][0])

输出结果：

415-555-9999
['415-555-9999', '212-555-0000']
[('415', '555-9999'), ('212', '555-0000')]
415-555-9999
415

1.5 字符分类

缩写字符分类	表示
\d	0 到 9 的任何数字
\D	除 0 到 9 的数字以外的任何字符
\w	任何字母、数字或下划线字符（可以认为是匹配“单词”字符）
\W	除字母、数字和下划线以外的任何字符
\s	空格、制表符或换行符（可以认为是匹配“空白”字符）
\S	除空格、制表符和换行符以外的任何字符

字符分类对于缩短正则表达式很有用。字符分类[0-5]只匹配数字 0 到 5，这比
输入(0|1|2|3|4|5)要短很多。

1.6 建立自己的字符分类

• 可以用方括号定义自己的字符分类。例如，字符分类[aeiouAEIOU]将匹配所有元音字符，不论大小写。
• 可以使用短横表示字母或数字的范围。例如，字符分类[a-zA-Z0-9]将匹配所
  有小写字母、大写字母和数字。

请注意，在方括号内，普通的正则表达式符号不会被解释。这意味着，你不需
要前面加上倒斜杠转义.、*、?或()字符。例如，字符分类将匹配数字 0 到 5 和一个
句点。你不需要将它写成[0-5\.]。

通过在字符分类的左方括号后加上一个插入字符（^），就可以得到“非字符类”。
非字符类将匹配不在这个字符类中的所有字符。

例如： consonantRegex = re.compile(r’[^aeiouAEIOU]’)

不是匹配所有元音字符，而是匹配所有非元音字符。

1.7 插入字符和美元字符

在正则表达式的开始处使用插入符号（^），表明匹配必须发生在被查找文
本开始处。

在正则表达式的末尾加上美元符号（$），表示该字符串必
须以这个正则表达式的模式结束。

可以同时使用^和$，表明整个字符串必须匹配该模式。

1.8 通配字符

在正则表达式中，.（句点）字符称为“通配符”。它匹配除了换行之外的所有
字符。

要记住，句点字符只匹配一个字符

1.8.1 用点-星匹配所有字符

用点-星（.*）表示“任意文本”。

>>> nameRegex = re.compile(r'First Name: (.*) Last Name: (.*)')
>>> mo = nameRegex.search('First Name: Al Last Name: Sweigart')
>>> mo.group(1)
'Al'
>>> mo.group(2)
'Sweigart'

点-星使用“贪心”模式：它总是匹配尽可能多的文本。

要用“非贪心”模式匹配所有文本，就使用点-星和问号 (.*?)。

>>> nongreedyRegex = re.compile(r'<.*?>')
>>> mo = nongreedyRegex.search('<To serve man> for dinner.>')
>>> mo.group()
'<To serve man>'
>>> greedyRegex = re.compile(r'<.*>')
>>> mo = greedyRegex.search('<To serve man> for dinner.>')
>>> mo.group()
'<To serve man> for dinner.>'

两个正则表达式都可以翻译成“匹配一个左尖括号，接下来是任意字符，接下
来是一个右尖括号”。

1.8.2 用句点字符匹配换行

点-星将匹配除换行外的所有字符。通过传入 re.DOTALL 作为 re.compile()的第
二个参数，可以让句点字符匹配所有字符，包括换行字符。

>>> noNewlineRegex = re.compile('.*')
>>> noNewlineRegex.search('Serve the public trust.\nProtect the innocent.
\nUphold the law.').group()
'Serve the public trust.'
>>> newlineRegex = re.compile('.*', re.DOTALL)
>>> newlineRegex.search('Serve the public trust.\nProtect the innocent.\nUphold the law.').group()
'Serve the public trust.\nProtect the innocent.\nUphold the law.'

1.9 不区分大小写的匹配

通常，正则表达式用你指定的大小写匹配文本。

要让正则表达式不区分大小写，可以向re.compile()传入re.IGNORECASE或re.I，作为第二个参数。

1.10 用 sub()方法替换字符串

正则表达式不仅能找到文本模式，而且能够用新的文本替换掉这些模式。Regex
对象的 sub()方法需要传入两个参数。

第一个参数是一个字符串，用于取代发现的匹配。

第二个参数是一个字符串，即正则表达式。

sub()方法返回替换完成后的字符串。

>>> namesRegex = re.compile(r'Agent \w+')
>>> namesRegex.sub('CENSORED', 'Agent Alice gave the secret documents to Agent Bob.')
'CENSORED gave the secret documents to CENSORED.'

agentstring = 'Agent Alice told Agent Carol that Agent Eve knew that Agent Bob was a double agent.'
agentNamesRegex = re.compile(r'Agent (\w)\w*')
searchResult = agentNamesRegex.search(agentstring)
print(searchResult.group())
print(agentNamesRegex.findall(agentstring))
result = agentNamesRegex.sub(r'Agent \1****', agentstring)
print(result)
inputStr = '你好 小明,你来啦！'
replaceRex = re.compile(r'你好 \w+')
mo = replaceRex.search(inputStr)
print(mo.group())
print(replaceRex.sub(r'你好 小红', inputStr))

输出结果：

Agent Alice
['A', 'C', 'E', 'B']
Agent A**** told Agent C**** that Agent E**** knew that Agent B**** was a double agent.
你好 小明
你好 小红,你来啦！

1.11 管理复杂的正则表达式

匹配复杂的文本模式，可能需要长的、费解的正则表达式。你可以告诉re.compile()，忽略正则表达式字符串中的空白符和注释，从而缓解这一点。要实现这种详细模式，可以向 re.compile()传入变量 re.VERBOSE，作为第二个参数。

phoneRegex = re.compile(r'''(
(\d{3}|\(\d{3}\))?              # area code
(\s|-|\.)?                      # separator
\d{3}                           # first 3 digits
(\s|-|\.)                       # separator
\d{4}                           # last 4 digits
(\s*(ext|x|ext.)\s*\d{2,5})?    # extension
)''', re.VERBOSE)

前面的例子使用了三重引号(’")，创建了一个多行字符串。这样就可以将正则表达式定义放在多行中，让它更可读。

表示正则表达式的多行字符串中，多余的空白字符也不认为是要匹配的文本模式的一部分。

1.12 组合使用 re.IGNOREC ASE、re.DOTALL 和 re.VERBOSE

re.compile()函数只接受一个值作为它的第二参数。

当希望在正则表达式中使用re.VERBOSE来编写注释，同时还希望使用re.IGNORECASE来忽略大小写，可以使用管道字符（|）将变量组合起来，从而绕过这个限制。管道字符在这里称为“按位或”操作符。

someRegexValue = re.compile('foo', re.IGNORECASE | re.DOTALL)