第七章:模式匹配与正则表达式
不用正则表达式来查找文本模式:isPhoneNumber.py
用正则表达式查找文本模式
正则表达式,简称为regex,是文本模式的描述方法。例如,\d是一个正则表达式,表示一位数字字符,即任何一位0~9的数字。Python使用正则表达式\d\d\d-\d\d\d-\d\d\d\d,来匹配前面isPhoneNumber()函数匹配的同样文本。
创建正则表达式对象
Python中所有正则表达式的函数都在re模块中。
注意:本章后面的大多数例子都需要re模块,所以要记得在你写的每个脚本开始处导入它,或重新启动IDLE时。否则,就会遇到错误消息NameError:name 're' is not defined.
向re.compile()传入一个字符串值,表示正则表达式,它将返回一个Regex模式对象(或者就简称Regex对象)。要创建一个Regex对象来匹配电话号码模式,就在交互环境中输入以下代码:phoneNumberRegex = re.compile(r'\d\d\d-\d\d\d-\d\d\d\d')
匹配Regex对象
Regex对象的search()方法查找传入的字符串,寻找该正则表达式的所有匹配。如果字符串中没有找到该正则表达式,search()方法将返回None。如果找到了该模式,search()方法将返回一个Match对象。Match对象有一个group()方法,它返回被查找字符串中实际匹配的文本。
向re.compile()传递原始字符串
回忆一下,Python中转义字符使用倒斜杠(\)。字符串'\n'表示一个换行字符,而不是倒斜杠加上一个小写的n。但是,通过字符串的第一个引号之前加上r,可以将该字符串标记为原始字符串,它不包括转义字符。因为正则表达式常常使用倒斜杠,向re.compile()函数传入原始字符串就很方便,而不是输入额外得到斜杠。输入 r'\d\d\d-\d\d\d-\d\d\d\d',比输入'\\d\\d\\d\\d-\\d\\d\\d-\\d\\d\\d\\d'要容易得多。
正则表达式匹配复习
虽然在Python中使用正则表达式有几个步骤,但每一步都相当简单。
1.用import re 导入正则表达式模块。
2.用re.compile()函数创建一个Regex对象(记得使用原始字符串)。
3.向Regex对象的search()方法传入想查找的字符串。它返回一个Match对象。
4.调用Match对象的group()方法,返回实现匹配文本的字符串。
注意:虽然我鼓励你在交互式环境中输入示例代码,但你也应该利用基于网页的正则表达式测试程序。它可以向你清楚地展示,一个正则表达式如何匹配输入的一段文本。我推荐的测试程序位于http://regexpal.com/。
用正则表达式匹配更多模式
利用括号分组
假定想要将区号从电话号码中分离。添加括号将在正则表达式中创建“分组”:(\d\d\d)-(\d\d\d-\d\d\d\d)。然后可以使用group()匹配对象方法,从一个分组中获取匹配的文本。正则表达式字符串中的第一对括号是第1组。第二对括号是第2组。向group()匹配对象方法传入整数1或2,就可以取得匹配文本的不同部分。向group()方法传入0或不传入参数,将返回整个匹配的文本。如果想要一次就获取所有的分组,请使用groups()方法,注意函数的复数形式。传递给re.compile()的原始字符串中,\(和\)转义字符将匹配实际的括号字符。
用管道匹配多个分组
字符|称为“管道”。希望匹配许多表达式中的一个时,就可以使用它。例如,正则表达式 r'Batman|Tina Fey'将匹配'Batman'或'Tina Fey'。如果Batman和Tina Fey都出现在被查找的字符串中,第一次出现的匹配文本,将作为Match对象返回。
注意:利用findall()方法,可以找到“所有”匹配的地方。
也可以使用管道来匹配多个模式中的一个,作为正则表达式的一部分。通过使用管道字符和分组括号,可以指定几种可选的模式,让正则表达式去匹配。如果需要匹配真正的管道字符,就用倒斜杠转义,即\|。
用问号实现可选匹配
有时候,想匹配的模式是可选的。就是说,不论这段文本在不在,正则表达式都会认为匹配。字符?表明它前面的分组在这个模式是可选的。你可以认为?是在说,“匹配这个问号之前的分组零次或一次”。如果需要匹配真正的问号字符,就使用转义字符\?。
用星号匹配零次或多次
*(称为星号)意味着“匹配零次或多次”,即星号之前的分组,可以在文本中出现任意次,它可以完全不存在,或一次又一次地重复。如果需要匹配真正的星号字符,就在正则表达式的星号字符前加上倒斜杠,即\*。
用加号匹配一次或多次
*意味着“匹配零次或多次”,+(加号)则意味着“匹配一次或多次”。星号不要求分组出现在匹配的字符串中,但加号不同,加号前面的分组必须“至少出现一次”。这不是可选的。如果需要匹配真正的加号字符,在加号前面加上倒斜杠实现转义:\+。
用花括号匹配特定次数
如果想要一个分组重复特定次数,就在正则表达式中该分组的后面,跟上花括号包围的数字。例如,正则表达式(Ha){3}将匹配字符串'HaHaHa',但不会匹配'HaHa',因为后者只重复了(Ha)分组两次。除了一个数字,还可以指定一个范围,即在花括号中写下一个最小值、一个逗号和一个最大值。也可以不写花括号中的第一个或第二个数字,不限定最小值或最大值。
贪心和非贪心匹配
Python的正则表达式默认是“贪心”的,这表示在有二义的情况下,它们会尽可能匹配最长的字符串。花括号的“非贪心”版本匹配尽可能最短的字符串,即在结束的花括号后跟着一个问号。请注意,问号在正则表达式中有可能有两种含义:声明非贪心匹配或表示可选的分组。这两种含义是完全无关的。
findall()方法
除了search方法外,Regex对象也有一个findall()方法。search()将返回一个Match对象,包含被查找字符串中的“第一次”匹配的文本,而findall()方法将返回一组字符串,包含被查找字符串中的所有匹配。search()返回的Match对象只包含第一次出现的匹配文本。另一方面,findall()不是返回一个Match对象,而是返回一个字符串列表,只要在正则表达式中没有分组。列表中的每一个字符串都是一段被查找的文本,它匹配该正则表达式。如果在正则表达式中有分组,那么findall将返回元组的列表。每个元组表示一个找到的匹配,其中的项就是正则表达式中每一个分组的匹配字符串。作为findall()方法的返回结果的总结,请记住下面两点:
1.如果调用在一个没有分组的正则表达式上,方法findall()将返回一个匹配字符串的列表。
2.如果调用在一个有分组的正则表达式上,方法findall()将返回一个字符串的元组的列表(每个分组对应一个字符串)。
字符分类
常用字符分类的缩写代码
缩写字符分类 表示
\d 0到9的任何数字
\D 除0到9的数字以外的任何字符
\w 任何字母、数字或下划线字符(可以认为是匹配“单词”字符)
\W 除字母、数字和下划线以外的任何字符
\s 空格、制表符或换行符(可以认为是匹配“空白”字符)
\S 除空格、制表符和换行符以外的任何字符
字符分类对于缩短正则表达式很有用。正则表达式\d+\s\w+匹配的文本有一个或多个数字(\d+),接下来是一个空白字符(\s),接下来是一个或多个字母/数字/下划线字符(\w+)。findall()方法将返回所有匹配该正则表达式的字符串,放在一个列表中。
建立自己的字符分类
有时候你想匹配一组字符,但缩写的字符分类(\d,\w,\s等)太宽泛。你可以用方括号定义自己的字符分类。例如,字符分类[aeiouAEIOU]将匹配所有元音字符,不论大小写。也可以使用短横表示字母或数字的范围。例如,字符分类[a-zA-Z0-9]将匹配所有小写字母、大写字母和数字。
请注意,在方括号内,普通的正则表达式符号不会被解释。这意味着,你不需要前面加上倒斜杠转义.、*、?或()字符。通过在字符分类的左方括号后加上一个插入字符(^),就可以得到“非字符类”。非字符类将匹配不在这个字符类中的所有字符。
插入字符和美元字符
可以在正则表达式的开始处使用插入符号(^),表明匹配必须发生在被查找文本开始处。类似地,可以再正则表达式的末尾加上美元符号($),表示该字符串必须以这个正则表达式的模式结束。可以同时使用^和$,表明整个字符串必须匹配该模式,也就是说,只匹配该字符串的某个子集是不够的。
通配字符
在正则表达式中,.(句点)字符称为“通配符”。它匹配除了换行之外的所有字符。要记住,句点字符只匹配一个字符,这就是为什么在前面的例子中,对于文本flat,只匹配lat。要匹配真正的句点,就是用倒斜杠转义:\.。
用点-星匹配所有字符
有时候想要匹配所有字符串。例如,假定想要匹配字符串'First Name:',接下来是任意文本,接下来是'Last Name:',然后又是任意文本。可以用点-星(.*)表示“任意文本”。点-星使用“贪心”模式:它总是匹配尽可能多的文本。要用“非贪心”模式匹配所有文本,就使用点-星和问号。
用句点字符匹配换行
点-星将匹配除换行外的所有字符。通过转入re.DOTALL作为re.compile()的第二个参数,可以让句点字符匹配所有字符,包括换行字符。
不区分大小写的匹配
通常,正则表达式用你指定的大小写匹配文本。但是,有时候你只关心匹配字母,不关心它们是大写或小写。要让正则表达式不区分大小写,可以向re.compile()传入re.IGNORECASE或re.I,作为第二个参数。
用sub()方法替换字符串
正则表达式不仅能找到文本模式,而且能够用新的文本替换掉这些模式。Regex对象的sub()方法需要传入两个参数。第一个参数是一个字符串,用于取代发现的匹配。第二个参数是一个字符串,即正则表达式。sub()方法返回替换完成后的字符串。有时候,你可能需要使用匹配的文本本身,作为替换的一部分。在sub()的第一个参数中,可以输入\1、\2、\3......。表示“替换中输入分组1、2、3.....的文本”。
管理复杂的正则表达式
如果要匹配的文本模式很简单,正则表达式就很好。但匹配复杂的文本模式,可能需要长的、费解的正则表达式。你可以告诉re.compile(),忽略正则表达式字符串中的空白符合注释,从而缓解这一点。要实现这种详细模式,可以向re.compile()传入变量re.VERBOSE,作为第二个参数。请注意,前面的例子使用了三重引号('''),创建了一个多行字符串。这样就可以将正则表达式定义放在多行中,让它更可读。正则表达式字符串中的注释规则,与普通的Python代码一样:#符号和它后面直到行末的内容,都被忽略。而且,表示正则表达式的多行字符串中,多余的空白字符也不认为是要匹配的文本模式的一部分。这让你能够组织正则表达式,让它更可读。
组合使用re.IGNORECASE、re.DOTALL和re.VERBOSE
如果你希望在正则表达式中使用re.VERBOSE来编写注释,还希望使用re.IGNORECASE来忽略大小写,该怎么办呢?遗憾的是,re.compile()函数只接受一个值作为它的第二参数。可以使用管道字符(|)将变量组合起来,从而绕过这个限制。管道字符在这里称为“按位或”操作符。所以,如果希望正则表达式不区分大小写,并且句点字符匹配换行,就可以这样构造re.compile()调用。更多信息请查看资源http://nostarch.com/automatestuff/。
项目:电话号码和E-mail地址提取程序
<第7章结束>
不用正则表达式来查找文本模式:isPhoneNumber.py
用正则表达式查找文本模式
正则表达式,简称为regex,是文本模式的描述方法。例如,\d是一个正则表达式,表示一位数字字符,即任何一位0~9的数字。Python使用正则表达式\d\d\d-\d\d\d-\d\d\d\d,来匹配前面isPhoneNumber()函数匹配的同样文本。
创建正则表达式对象
Python中所有正则表达式的函数都在re模块中。
注意:本章后面的大多数例子都需要re模块,所以要记得在你写的每个脚本开始处导入它,或重新启动IDLE时。否则,就会遇到错误消息NameError:name 're' is not defined.
向re.compile()传入一个字符串值,表示正则表达式,它将返回一个Regex模式对象(或者就简称Regex对象)。要创建一个Regex对象来匹配电话号码模式,就在交互环境中输入以下代码:phoneNumberRegex = re.compile(r'\d\d\d-\d\d\d-\d\d\d\d')
匹配Regex对象
Regex对象的search()方法查找传入的字符串,寻找该正则表达式的所有匹配。如果字符串中没有找到该正则表达式,search()方法将返回None。如果找到了该模式,search()方法将返回一个Match对象。Match对象有一个group()方法,它返回被查找字符串中实际匹配的文本。
向re.compile()传递原始字符串
回忆一下,Python中转义字符使用倒斜杠(\)。字符串'\n'表示一个换行字符,而不是倒斜杠加上一个小写的n。但是,通过字符串的第一个引号之前加上r,可以将该字符串标记为原始字符串,它不包括转义字符。因为正则表达式常常使用倒斜杠,向re.compile()函数传入原始字符串就很方便,而不是输入额外得到斜杠。输入 r'\d\d\d-\d\d\d-\d\d\d\d',比输入'\\d\\d\\d\\d-\\d\\d\\d-\\d\\d\\d\\d'要容易得多。
正则表达式匹配复习
虽然在Python中使用正则表达式有几个步骤,但每一步都相当简单。
1.用import re 导入正则表达式模块。
2.用re.compile()函数创建一个Regex对象(记得使用原始字符串)。
3.向Regex对象的search()方法传入想查找的字符串。它返回一个Match对象。
4.调用Match对象的group()方法,返回实现匹配文本的字符串。
注意:虽然我鼓励你在交互式环境中输入示例代码,但你也应该利用基于网页的正则表达式测试程序。它可以向你清楚地展示,一个正则表达式如何匹配输入的一段文本。我推荐的测试程序位于http://regexpal.com/。
用正则表达式匹配更多模式
利用括号分组
假定想要将区号从电话号码中分离。添加括号将在正则表达式中创建“分组”:(\d\d\d)-(\d\d\d-\d\d\d\d)。然后可以使用group()匹配对象方法,从一个分组中获取匹配的文本。正则表达式字符串中的第一对括号是第1组。第二对括号是第2组。向group()匹配对象方法传入整数1或2,就可以取得匹配文本的不同部分。向group()方法传入0或不传入参数,将返回整个匹配的文本。如果想要一次就获取所有的分组,请使用groups()方法,注意函数的复数形式。传递给re.compile()的原始字符串中,\(和\)转义字符将匹配实际的括号字符。
用管道匹配多个分组
字符|称为“管道”。希望匹配许多表达式中的一个时,就可以使用它。例如,正则表达式 r'Batman|Tina Fey'将匹配'Batman'或'Tina Fey'。如果Batman和Tina Fey都出现在被查找的字符串中,第一次出现的匹配文本,将作为Match对象返回。
注意:利用findall()方法,可以找到“所有”匹配的地方。
也可以使用管道来匹配多个模式中的一个,作为正则表达式的一部分。通过使用管道字符和分组括号,可以指定几种可选的模式,让正则表达式去匹配。如果需要匹配真正的管道字符,就用倒斜杠转义,即\|。
用问号实现可选匹配
有时候,想匹配的模式是可选的。就是说,不论这段文本在不在,正则表达式都会认为匹配。字符?表明它前面的分组在这个模式是可选的。你可以认为?是在说,“匹配这个问号之前的分组零次或一次”。如果需要匹配真正的问号字符,就使用转义字符\?。
用星号匹配零次或多次
*(称为星号)意味着“匹配零次或多次”,即星号之前的分组,可以在文本中出现任意次,它可以完全不存在,或一次又一次地重复。如果需要匹配真正的星号字符,就在正则表达式的星号字符前加上倒斜杠,即\*。
用加号匹配一次或多次
*意味着“匹配零次或多次”,+(加号)则意味着“匹配一次或多次”。星号不要求分组出现在匹配的字符串中,但加号不同,加号前面的分组必须“至少出现一次”。这不是可选的。如果需要匹配真正的加号字符,在加号前面加上倒斜杠实现转义:\+。
用花括号匹配特定次数
如果想要一个分组重复特定次数,就在正则表达式中该分组的后面,跟上花括号包围的数字。例如,正则表达式(Ha){3}将匹配字符串'HaHaHa',但不会匹配'HaHa',因为后者只重复了(Ha)分组两次。除了一个数字,还可以指定一个范围,即在花括号中写下一个最小值、一个逗号和一个最大值。也可以不写花括号中的第一个或第二个数字,不限定最小值或最大值。
贪心和非贪心匹配
Python的正则表达式默认是“贪心”的,这表示在有二义的情况下,它们会尽可能匹配最长的字符串。花括号的“非贪心”版本匹配尽可能最短的字符串,即在结束的花括号后跟着一个问号。请注意,问号在正则表达式中有可能有两种含义:声明非贪心匹配或表示可选的分组。这两种含义是完全无关的。
findall()方法
除了search方法外,Regex对象也有一个findall()方法。search()将返回一个Match对象,包含被查找字符串中的“第一次”匹配的文本,而findall()方法将返回一组字符串,包含被查找字符串中的所有匹配。search()返回的Match对象只包含第一次出现的匹配文本。另一方面,findall()不是返回一个Match对象,而是返回一个字符串列表,只要在正则表达式中没有分组。列表中的每一个字符串都是一段被查找的文本,它匹配该正则表达式。如果在正则表达式中有分组,那么findall将返回元组的列表。每个元组表示一个找到的匹配,其中的项就是正则表达式中每一个分组的匹配字符串。作为findall()方法的返回结果的总结,请记住下面两点:
1.如果调用在一个没有分组的正则表达式上,方法findall()将返回一个匹配字符串的列表。
2.如果调用在一个有分组的正则表达式上,方法findall()将返回一个字符串的元组的列表(每个分组对应一个字符串)。
字符分类
常用字符分类的缩写代码
缩写字符分类 表示
\d 0到9的任何数字
\D 除0到9的数字以外的任何字符
\w 任何字母、数字或下划线字符(可以认为是匹配“单词”字符)
\W 除字母、数字和下划线以外的任何字符
\s 空格、制表符或换行符(可以认为是匹配“空白”字符)
\S 除空格、制表符和换行符以外的任何字符
字符分类对于缩短正则表达式很有用。正则表达式\d+\s\w+匹配的文本有一个或多个数字(\d+),接下来是一个空白字符(\s),接下来是一个或多个字母/数字/下划线字符(\w+)。findall()方法将返回所有匹配该正则表达式的字符串,放在一个列表中。
建立自己的字符分类
有时候你想匹配一组字符,但缩写的字符分类(\d,\w,\s等)太宽泛。你可以用方括号定义自己的字符分类。例如,字符分类[aeiouAEIOU]将匹配所有元音字符,不论大小写。也可以使用短横表示字母或数字的范围。例如,字符分类[a-zA-Z0-9]将匹配所有小写字母、大写字母和数字。
请注意,在方括号内,普通的正则表达式符号不会被解释。这意味着,你不需要前面加上倒斜杠转义.、*、?或()字符。通过在字符分类的左方括号后加上一个插入字符(^),就可以得到“非字符类”。非字符类将匹配不在这个字符类中的所有字符。
插入字符和美元字符
可以在正则表达式的开始处使用插入符号(^),表明匹配必须发生在被查找文本开始处。类似地,可以再正则表达式的末尾加上美元符号($),表示该字符串必须以这个正则表达式的模式结束。可以同时使用^和$,表明整个字符串必须匹配该模式,也就是说,只匹配该字符串的某个子集是不够的。
通配字符
在正则表达式中,.(句点)字符称为“通配符”。它匹配除了换行之外的所有字符。要记住,句点字符只匹配一个字符,这就是为什么在前面的例子中,对于文本flat,只匹配lat。要匹配真正的句点,就是用倒斜杠转义:\.。
用点-星匹配所有字符
有时候想要匹配所有字符串。例如,假定想要匹配字符串'First Name:',接下来是任意文本,接下来是'Last Name:',然后又是任意文本。可以用点-星(.*)表示“任意文本”。点-星使用“贪心”模式:它总是匹配尽可能多的文本。要用“非贪心”模式匹配所有文本,就使用点-星和问号。
用句点字符匹配换行
点-星将匹配除换行外的所有字符。通过转入re.DOTALL作为re.compile()的第二个参数,可以让句点字符匹配所有字符,包括换行字符。
不区分大小写的匹配
通常,正则表达式用你指定的大小写匹配文本。但是,有时候你只关心匹配字母,不关心它们是大写或小写。要让正则表达式不区分大小写,可以向re.compile()传入re.IGNORECASE或re.I,作为第二个参数。
用sub()方法替换字符串
正则表达式不仅能找到文本模式,而且能够用新的文本替换掉这些模式。Regex对象的sub()方法需要传入两个参数。第一个参数是一个字符串,用于取代发现的匹配。第二个参数是一个字符串,即正则表达式。sub()方法返回替换完成后的字符串。有时候,你可能需要使用匹配的文本本身,作为替换的一部分。在sub()的第一个参数中,可以输入\1、\2、\3......。表示“替换中输入分组1、2、3.....的文本”。
管理复杂的正则表达式
如果要匹配的文本模式很简单,正则表达式就很好。但匹配复杂的文本模式,可能需要长的、费解的正则表达式。你可以告诉re.compile(),忽略正则表达式字符串中的空白符合注释,从而缓解这一点。要实现这种详细模式,可以向re.compile()传入变量re.VERBOSE,作为第二个参数。请注意,前面的例子使用了三重引号('''),创建了一个多行字符串。这样就可以将正则表达式定义放在多行中,让它更可读。正则表达式字符串中的注释规则,与普通的Python代码一样:#符号和它后面直到行末的内容,都被忽略。而且,表示正则表达式的多行字符串中,多余的空白字符也不认为是要匹配的文本模式的一部分。这让你能够组织正则表达式,让它更可读。
组合使用re.IGNORECASE、re.DOTALL和re.VERBOSE
如果你希望在正则表达式中使用re.VERBOSE来编写注释,还希望使用re.IGNORECASE来忽略大小写,该怎么办呢?遗憾的是,re.compile()函数只接受一个值作为它的第二参数。可以使用管道字符(|)将变量组合起来,从而绕过这个限制。管道字符在这里称为“按位或”操作符。所以,如果希望正则表达式不区分大小写,并且句点字符匹配换行,就可以这样构造re.compile()调用。更多信息请查看资源http://nostarch.com/automatestuff/。
项目:电话号码和E-mail地址提取程序
<第7章结束>