python学习笔记（15）：正则表达式

一、定义

正则表达式是一个特殊的字符序列，一个字符串是否与我们所设定的这样的字符序列，相匹配

可以用来快速检索文本、实现一些替换文本的操作，例如可以完成以下操作：

1.检查一串数字是否是电话号码

2.检测一个字符串是否符合email

3.把一个文本里指定的单词替换为另外一个单词

二、模块re

2.1 使用re.findall('正则表达式', 需要匹配的字符串)，此方法返回的是一个list

注：使用re另的方法时，要先引入re模块

三、正则表达式中的字符分类

      正则表达式分为：普通字符、元字符，其中普通字符是字符串内容

 

元字符	描述
\	将下一个字符标记符、或一个向后引用、或一个八进制转义符。例如，“\\n”匹配\n。“\n”匹配换行符。序列“\\”匹配“\”而“\(”则匹配“(”。即相当于多种编程语言中都有的“转义字符”的概念。
^	匹配输入字行首。如果设置了RegExp对象的Multiline属性，^也匹配“\n”或“\r”之后的位置。
$	匹配输入行尾。如果设置了RegExp对象的Multiline属性，$也匹配“\n”或“\r”之前的位置。
*	匹配前面的子表达式任意次。例如，zo*能匹配“z”，也能匹配“zo”以及“zoo”。*等价于o{0,}
+	匹配前面的子表达式一次或多次(大于等于1次）。例如，“zo+”能匹配“zo”以及“zoo”，但不能匹配“z”。+等价于{1,}。
?	匹配前面的子表达式零次或一次。例如，“do(es)?”可以匹配“do”或“does”中的“do”。?等价于{0,1}。
{n}	n是一个非负整数。匹配确定的n次。例如，“o{2}”不能匹配“Bob”中的“o”，但是能匹配“food”中的两个o。
{n,}	n是一个非负整数。至少匹配n次。例如，“o{2,}”不能匹配“Bob”中的“o”，但能匹配“foooood”中的所有o。“o{1,}”等价于“o+”。“o{0,}”则等价于“o*”。
{n,m}	m和n均为非负整数，其中n<=m。最少匹配n次且最多匹配m次。例如，“o{1,3}”将匹配“fooooood”中的前三个o为一组，后三个o为一组。“o{0,1}”等价于“o?”。请注意在逗号和两个数之间不能有空格。
?	当该字符紧跟在任何一个其他限制符（*,+,?，{n}，{n,}，{n,m}）后面时，匹配模式是非贪婪的。非贪婪模式尽可能少地匹配所搜索的字符串，而默认的贪婪模式则尽可能多地匹配所搜索的字符串。例如，对于字符串“oooo”，“o+”将尽可能多地匹配“o”，得到结果[“oooo”]，而“o+?”将尽可能少地匹配“o”，得到结果 ['o', 'o', 'o', 'o']
.点	匹配除“\n”之外的任何单个字符。要匹配包括“\n”在内的任何字符，请使用像“[\s\S]”的模式。
(pattern)	匹配pattern并获取这一匹配。所获取的匹配可以从产生的Matches集合得到，在VBScript中使用SubMatches集合，在JScript中则使用$0…$9属性。要匹配圆括号字符，请使用“\(”或“\)”。
(?:pattern)	非获取匹配，匹配pattern但不获取匹配结果，不进行存储供以后使用。这在使用或字符“(|)”来组合一个模式的各个部分时很有用。例如“industr(?:y|ies)”就是一个比“industry|industries”更简略的表达式。
(?=pattern)	非获取匹配，正向肯定预查，在任何匹配pattern的字符串开始处匹配查找字符串，该匹配不需要获取供以后使用。例如，“Windows(?=95|98|NT|2000)”能匹配“Windows2000”中的“Windows”，但不能匹配“Windows3.1”中的“Windows”。预查不消耗字符，也就是说，在一个匹配发生后，在最后一次匹配之后立即开始下一次匹配的搜索，而不是从包含预查的字符之后开始。
(?!pattern)	非获取匹配，正向否定预查，在任何不匹配pattern的字符串开始处匹配查找字符串，该匹配不需要获取供以后使用。例如“Windows(?!95|98|NT|2000)”能匹配“Windows3.1”中的“Windows”，但不能匹配“Windows2000”中的“Windows”。
(?<=pattern)	非获取匹配，反向肯定预查，与正向肯定预查类似，只是方向相反。例如，“(?<=95|98|NT|2000)Windows”能匹配“2000Windows”中的“Windows”，但不能匹配“3.1Windows”中的“Windows”。
(?<!pattern)	非获取匹配，反向否定预查，与正向否定预查类似，只是方向相反。例如“(?<!95|98|NT|2000)Windows”能匹配“3.1Windows”中的“Windows”，但不能匹配“2000Windows”中的“Windows”。这个地方不正确，有问题 此处用或任意一项都不能超过2位，如“(?<!95|98|NT|20)Windows正确，“(?<!95|980|NT|20)Windows 报错，若是单独使用则无限制，如(?<!2000)Windows 正确匹配
x|y	匹配x或y。例如，“z|food”能匹配“z”或“food”(此处请谨慎)。“[zf]ood”则匹配“zood”或“food”。
[xyz]	字符集合。匹配所包含的任意一个字符。例如，“[abc]”可以匹配“plain”中的“a”。
[^xyz]	负值字符集合。匹配未包含的任意字符。例如，“[^abc]”可以匹配“plain”中的“plin”。
[a-z]	字符范围。匹配指定范围内的任意字符。例如，“[a-z]”可以匹配“a”到“z”范围内的任意小写字母字符。 注意:只有连字符在字符组内部时,并且出现在两个字符之间时,才能表示字符的范围; 如果出字符组的开头,则只能表示连字符本身.
[^a-z]	负值字符范围。匹配任何不在指定范围内的任意字符。例如，“[^a-z]”可以匹配任何不在“a”到“z”范围内的任意字符。
\b	匹配一个单词边界，也就是指单词和空格间的位置（即正则表达式的“匹配”有两种概念，一种是匹配字符，一种是匹配位置，这里的\b就是匹配位置的）。例如，“er\b”可以匹配“never”中的“er”，但不能匹配“verb”中的“er”。
\B	匹配非单词边界。“er\B”能匹配“verb”中的“er”，但不能匹配“never”中的“er”。
\cx	匹配由x指明的控制字符。例如，\cM匹配一个Control-M或回车符。x的值必须为A-Z或a-z之一。否则，将c视为一个原义的“c”字符。
\d	匹配一个数字字符。等价于[0-9]。grep 要加上-P，perl正则支持
\D	匹配一个非数字字符。等价于[^0-9]。grep要加上-P，perl正则支持
\f	匹配一个换页符。等价于\x0c和\cL。
\n	匹配一个换行符。等价于\x0a和\cJ。
\r	匹配一个回车符。等价于\x0d和\cM。
\s	匹配任何不可见字符，包括空格、制表符、换页符等等。等价于[ \f\n\r\t\v]。
\S	匹配任何可见字符。等价于[^ \f\n\r\t\v]。
\t	匹配一个制表符。等价于\x09和\cI。
\v	匹配一个垂直制表符。等价于\x0b和\cK。
\w	匹配包括下划线的任何单词字符。类似但不等价于“[A-Za-z0-9_]”，这里的"单词"字符使用Unicode字符集。
\W	匹配任何非单词字符。等价于“[^A-Za-z0-9_]”。
\xn	匹配n，其中n为十六进制转义值。十六进制转义值必须为确定的两个数字长。例如，“\x41”匹配“A”。“\x041”则等价于“\x04&1”。正则表达式中可以使用ASCII编码。
\num	匹配num，其中num是一个正整数。对所获取的匹配的引用。例如，“(.)\1”匹配两个连续的相同字符。
\n	标识一个八进制转义值或一个向后引用。如果\n之前至少n个获取的子表达式，则n为向后引用。否则，如果n为八进制数字（0-7），则n为一个八进制转义值。
\nm	标识一个八进制转义值或一个向后引用。如果\nm之前至少有nm个获得子表达式，则nm为向后引用。如果\nm之前至少有n个获取，则n为一个后跟文字m的向后引用。如果前面的条件都不满足，若n和m均为八进制数字（0-7），则\nm将匹配八进制转义值nm。
\nml	如果n为八进制数字（0-7），且m和l均为八进制数字（0-7），则匹配八进制转义值nml。
\un	匹配n，其中n是一个用四个十六进制数字表示的Unicode字符。例如，\u00A9匹配版权符号（&copy;）。
\p{P}	小写 p 是 property 的意思，表示 Unicode 属性，用于 Unicode 正表达式的前缀。中括号内的“P”表示Unicode 字符集七个字符属性之一：标点字符。 其他六个属性： L：字母； M：标记符号（一般不会单独出现）； Z：分隔符（比如空格、换行等）； S：符号（比如数学符号、货币符号等）； N：数字（比如阿拉伯数字、罗马数字等）； C：其他字符。 *注：此语法部分语言不支持，例：javascript。
\< \>	匹配词（word）的开始（\<）和结束（\>）。例如正则表达式\<the\>能够匹配字符串"for the wise"中的"the"，但是不能匹配字符串"otherwise"中的"the"。注意：这个元字符不是所有的软件都支持的。
( )	将( 和 ) 之间的表达式定义为“组”（group），并且将匹配这个表达式的字符保存到一个临时区域（一个正则表达式中最多可以保存9个），它们可以用 \1 到\9 的符号来引用。
|	将两个匹配条件进行逻辑“或”（Or）运算。例如正则表达式(him|her) 匹配"it belongs to him"和"it belongs to her"，但是不能匹配"it belongs to them."。注意：这个元字符不是所有的软件都支持的。

 

3.1 查找数字：\d

 

3.2 查找字符集

3.2.1查找几个字符，可以使用“x|y”的格式，也可以使用“[xy]”的格式

3.2.2 查找包含几个字符的字符串

3.2.3 查找出不带某些字符的字符串，可以使用“[^xyz]”

3.2.4 要查找的几个字符恰好是一个范围时，可以使用“[x-y]”的格式

3.2.5 查找出不包含某一范围内字符的字符串，可以使用“[^x-y]”的格式

3.3 概括字符集

3.3.1 既匹配字母又匹配数字，可以使用“\w”，类似但不等于“[A-Za-z0-9_]”

3.3.2“\W”，匹配除字母、数字以及下划线以外的所有字符，类似但不等于“[^A-Za-z0-9_]”

3.3.3 "\s"，匹配出制表符、空格、换页符等，等价于[\f\n\r\t\v]

注：“\s”没有匹配出#、$、(、]等符号，因为这些符号不是制表符

 

3.3.4 "\S"，匹配出制表符、空格、换页符等以外的字符，等价于[^\f\n\r\t\v]

3.3.5 查找数字：\d

3.3.6 查找非数字：\D

3.4数量词

数量词的查询结果可分为：贪婪与非贪婪

3.4.1贪婪：匹配的结果尽可能满足长度的上限

3.4.2 非贪婪，匹配的结果尽可能的满足长度的下限，只需要在长度范围后面加一个“？”

3.5匹配0次1次或者无限多次

3.5.1 *：*前面的一个字符匹配0次或无限多次

 

import re

 

a = 'pytho0python1pythonn2'

# *匹配0次或无限多次

r = re.findall('python*', a)

print(r)

运行结果：

['pytho', 'python', 'pythonn', 'python']

3.5.2 +：+号前面的一个字符匹配1次或无限多次

 

import re

 

a = 'pytho0python1pythonn2python3'

# +匹配1次或无限多次

r = re.findall('python+', a)

print(r)

运行结果：['python', 'pythonn', 'python']

3.5.3 ?：？前面的一个字符匹配0次或1次

 

import re

 

a = 'pytho0python1pythonn2python3'

# +匹配1次或无限多次

r = re.findall('python？', a)

print(r)

运行结果：['pytho', 'python', 'python', 'python']

3.5.4 {m,n}：使用数量词，前面的一个字符匹配最少匹配m次，最多匹配n次，默认使用贪婪机制，尽可能多的匹配到n次

 

import re

 

a = 'pytho0python1pythonnn2python3'

r = re.findall('python{1,2}', a)

print(r)

运行结果：['python', 'pythonn', 'python']

3.5.5  {m,n}？：使用数量词，前面的一个字符匹配最少匹配m次，最多匹配n次，使用非贪婪机制，尽可能少的匹配到m次

 

import re

 

a = 'pytho0python1pythonnn2python3'

# 非贪婪机制

r = re.findall('python{1,2}?', a)

print(r)

运行结果：['python', 'python', 'python']

3.5.6 {m, }：前面的一个字符最少匹配m次，无上限，默认贪婪机制

 

import re

 

a = 'pytho0python1pythonnn2python3'

# 匹配无上限

r = re.findall('python{1,}', a)

print(r)

运行结果：['python', 'pythonnn', 'python']

3.5.7 {, n}：前面的一个字符最少匹配0次，最多匹配n次，默认贪婪机制，非贪婪机制则在大括号后面加“？”

 

import re

 

a = 'pytho0python1pythonnn2python3'

# 匹配无下限，匹配0到n次

r = re.findall('python{,2}', a)

print(r)

 

3.6 边界匹配符

判断值是不是在一个范围内

如判断值是不是4到8位，以下两种方法

 

import re

 

a = '100001'

# 查找4到8位的数

r = re.findall('\d{4,8}', a)

print(r)

 

r = re.findall('[0-9]{4,8}', a)

print(r)

以上两种方法可以用来判断出下限，无法判断出上限，如a = '100000000001'，明显超出8位，无法判断出a不满足上限的条件，此方法比较适用于查找，无法匹配完整的字符串

可使用^与$来匹配完整的字符串，^匹配字符串首位，$匹配字符串末位

 

import re

 

a = '100001000000000'

# ^匹配字符串首位，$匹配字符串末位

r = re.findall('^[0-9]{4,8}$', a)

print(r)

 

r = re.findall('^\d{4,8}$', a)

print(r)

运行结果：

[]

[]

3.7组

用（）括起来的一系列字符，表示一组字符，在后面加上数字，表示这一组字符重复若干次，findall方法中，可以有不只一组元素

 

import re

a = 'c++pythonpythonpythonjsJs'

r = re.findall('(python){3}(jsJs)',a)

print(r)

运行结果：

[('python', 'jsJs')]

注：1.（）与[]的区别：()中各元素之间的关系是与的关系，即所有元素必须出现，[]中各元素的关系是或的关系，即任意元素出现n次即可满足查找关系

2.(字符串){n}，表示查找的时候串字符重复n次，而且是连续重复，中间不可断开，如

 

import re

a = 'c++python0pythonpythonjsJs'

r = re.findall('(python){3}(jsJs)',a)

print(r)

运行结果为：[]

因为第一个python后面是0，没有连续重复3次

3.()后面还跟着()时，表示查找的两个字符串是连接在一起的，中间没有断开

4.()中的字符区分大小写

3.8匹配模式参数

findall()方法中的第三个参数，可以用来设置匹配模式，可以设置多个模式，模式之间用“|”隔开

3.8.1 re.I：忽略大小写

 

import re

 

a = 'PythonC#JavaPHP'

# 设置匹配模式，re.I忽略大小写

r = re.findall('c#', a, re.I)

print(r)

运行结果：['C#']

3.8.2 re.S：表示“.”将匹配所有的符号，包括换行符

 

import re

 

a = 'PythonC#\nJavaPHP'

# 设置匹配模式，re.I忽略大小写

r = re.findall('c#.', a, re.I | re.S)

print(r)

运行结果：['C#\n']

不加re.S时 

 

import re

 

a = 'PythonC#\nJavaPHP'

# 设置匹配模式，re.I忽略大小写

r = re.findall('c#.', a, re.I)

print(r)

运行结果为：[]

因为“.”表示匹配除换行符以外的任意字符

3.9 re.sub正则替换与replace()方法

 

import re

 

language = 'pythonC#JavaPHPC#'

r = re.sub('C#', 'go', language)

print(r)

运行结果：pythongoJavaPHPgo

re.sub方法共有5个参数，最后两个为可选参数，count代表匹配后可以被替换的最大的次数，flags匹配模式

3.9.1 count值为0时，代表匹配的结果全部替换

 

import re

 

language = 'pythonC#JavaPHPC#C#'

r = re.sub('C#', 'go', language, 0)

print(r)

运行结果：pythongoJavaPHPgogo

count值不为0时：

 

import re

 

language = 'pythonC#JavaPHPC#C#'

r = re.sub('C#', 'go', language, 1)

print(r)

运行结果：pythongoJavaPHPC#C#

3.9.2 变量名.replace()方法也可以用做替换操作，但是replace方法会产生一个新的字符串，需要将此赋值给一个变量

 

language = 'pythonC#JavaPHPC#C#'

# replace()方法不能直接改变字符串的值

a = language.replace('C#', 'go')

print(a)

print(language)

运行结果：pythongoJavaPHPgogo

               pythonC#JavaPHPC#C#

3.9.3 sub第二个参数可以是一个函数，使用函数的好处是处理不同的匹配结果，替换不同的字符串

 

import re

 

def convert(value):

matched = value.group()

return '!!' + matched + '!!'

 

language = 'pythonC#JavaPHPC#C#'

# sub的第二个参数可以是一个函数

r = re.sub('C#', convert, language)

print(r)

运行结果：python!!C#!!JavaPHP!!C#!!!!C#!!

convert的参数value不是一般的参数，

 

import re

 

def convert(value):

print(value)

# matched = value.group()

# return '!!' + matched + '!!'

 

language = 'pythonC#JavaPHPC#C#'

# sub的第二个参数可以是一个函数

r = re.sub('C#', convert, language)

print(r)

运行结果：

<_sre.SRE_Match object; span=(6, 8), match='C#'>
<_sre.SRE_Match object; span=(15, 17), match='C#'>
<_sre.SRE_Match object; span=(17, 19), match='C#'>

其中span中的第一个参数，是查找到的结果前面共有多少个字符，第二个参数代表查找到的结果最后一个字符在第几位，位数是下标+1

注：value.group方法可以得到匹配结果

3.9.4 把函数做为参数

 

import re

 

def add(value):

matched = value.group()

if int(matched) >= 50:

return '9'

else:

return '0'

 

a = 'ABC45837Fiu89'

# 两两匹配数字，大于等于50替换为9，反之替换为0

r = re.sub('[\d]{2}', add, a)

print(r)

运行结果：ABC097Fiu9

 

3.10 search与match

re.search：查找到第一个匹配结果时，就会返回结果

re.match：从字符串的第一位开始匹配，若第一位不符合正则表达式，则直接返回空，不再查找之后的字符串

import re

 

a = 'ABC45837Fiu89'

 

r = re.match('\d', a)

print(r)

 

r = re.search('\d', a)

print(r)

运行结果：

None

<_sre.SRE_Match object; span=(3, 4), match='4'>

注：这两个方法返回的都是对象，可使用group()方法拿到匹配的字符串，且只查找一次，findall方法可以查找多次

 

a = 'ABC45837Fiu89'

 

r = re.match('\d', a)

print(r)

 

r = re.search('\d', a)

print(r.group())

运行结果：

None

4

3.11 group分组

group的意义在于可以将匹配的结果存储在一个组中，正则表达式中的()可将括号内的内容看为一个组，并将结果存储到一个临时区域内

运行结果：

Nobody knows who I really am, I've never felt this empty before

 knows who I really am, I've never felt this empty

注：1. r = re.search('Nobody.*before', s)语句中因为没有将“.*”用括号括起来，所以匹配的是完整语句，用r = re.search('Nobody(.*)before', s)正则表达式中带有(),则只匹配()内的表达式，并将结果存储到group中，group(0)是完整语句，group(1)代表第一个()内表达式的匹配结果

2. groups()方法是存储所有的()内表达式的匹配结果

运行结果：(' is short, I use ', '. I love ')

3.可以用group(0,1,2,3...)的方法打印出所有的分组结果

运行结果：('life is short, I use python. I love python', ' is short, I use ', '. I love ')