正则表达式
一、动机
- 文本处理已经能称为计算机常见工作之一
- 对文本内容的搜索,定位,提取是逻辑比较复杂的
- 为了快速方便的解决上述问题,产生了正则表达式
二、简介
- 定义:即文本的高级匹配模式,提供搜索,替换等功能。其本质是由一系列字符和特殊符号构成的字符串,这个字符串即正则表达式。
- 原理:通过特殊符号去描述字符的组成规则,比如重复,位置等,来表达一类字符串,进而匹配。
三、元字符的使用
-
普通字符
- 匹配规则:每个普通字符匹配其对应的字符
- 例:
- In [4]: re.findall(“刀”,“852刀8dd得到dsdssd55”)
- Out[4]: [‘刀’]
- 注:可以匹配utf-8字符
-
或
- 元字符:“ | ”
- 匹配规则:匹配 “ | ” 两侧任意
- 例子:
- In [5]: re.findall(“刀|55”,“852刀8dd得到dsdssd55”)
- Out[5]: [‘刀’, ‘55’]
- 元字符:“ | ”
-
匹配单个字符
-
元字符 " . "
-
匹配规则:匹配除了换行外的任意字符
-
例:
- In [8]: re.findall("张.丰","张三丰,张四丰,张五丰") - Out[8]: ['张三丰', '张四丰', '张五丰']
-
-
匹配字符集
- 元字符:[字符集]
- 匹配规则:匹配字符集中任意一个字符
- 表达形式:
- [ffffhj63]==>匹配其中任意一个
- [0-9] [a-z] [A-Z] 匹配区间中任意一个
-
匹配字符集取反
- 元字符:[ ^字符集 ]
- 匹配规则:除了字符集以外的任意一个字符
-
匹配字符串开始位置的字符
-
元字符:"^"
-
匹配字符串开始位置的字符
-
例:
In [10]: re.findall("^he","hello world") Out[10]: ['he']
-
-
匹配字符串结束位置
-
元字符:$
-
匹配字符串结尾位置的字符
-
例:
In [11]: re.findall("ld$","hello world") Out[11]: ['ld']
-
-
匹配字符重复
-
元字符:“ * ”
-
“ * “也可以代表 空
-
匹配规则:匹配前面的字符出现0次或多次
-
例:
In [18]: re.findall("wo*","hello wwwooorld") Out[18]: ['w', 'w', 'wooo']
-
例:匹配大写字母开头的单词
In [20]: re.findall("[A-Z][a-z]*","Hello Wrold hello") Out[20]:['Hello', 'Wrold']
-
元字符:“ + ”
-
匹配规则:匹配前面的字符出现1次或多个
-
例:
In [19]: re.findall("wo+","hello wwwooorld") Out[19]: ['wooo']
-
元字符:” ?“
-
匹配规则:匹配前面的字符出现0次或一次
-
例子:
In [21]: re.findall("-?[1-9][0-9]*","age:19,score:-60,000789") Out[21]: ['19', '-60', '789'] # ----------------------------------- In [35]: re.findall(r"-?\b[1-9][0-9]*\b","age:19,score:-60,000789") Out[35]: ['19', '-60']
-
元字符:{n}
-
匹配规则:匹配前面的字符出现n次
-
e.g.:
In [22]: re.findall("1[0-9]{10}","tel:18866556688") Out[22]: ['18866556688']
-
元字符:{m,n}
-
匹配字符串m至n次
In [23]: re.findall("[1-9][0-9]{5,10}","qq:866556688") Out[23]: ['866556688']
-
-
匹配任意(非)数字字符
- 元字符:\d \D
- \d 匹配任意数字字符 [0-9]
- \D 匹配任意非数字字符
-
匹配任意普通字符(非)普通字符
-
元字符:\w \W
-
\w 匹配普通字符
-
\W 匹配非普通字符
-
说明:普通字符指的是,数字,字母,下划线,汉字。
In [27]: re.findall("\w+","addr=('127.168.0.1,8888')") Out[27]: ['addr', '127', '168', '0', '1', '8888']
-
-
匹配任意(非)空字符
-
元字符 \s \S
-
\s 匹配任意空字符
-
\S 匹配任意非空字符
-
说明:空字符是指,空格,\r \n \t \v \f
In [30]: re.findall("\w+\s+\w+","Hello Wrold") Out[30]: ['Hello Wrold'] In [31]: re.findall("\S+","Hello Wrold") Out[31]: ['Hello', 'Wrold']
-
-
匹配字符串开头结尾位置(同上)
- 字符串:\A \Z
- \A == " ^ "
- \Z == " $ "
- 使用技巧:如果正在表达式中同时出现 ^ 和 $ ,则两者之间的表达式需要将目标字符串内容全部匹配
-
匹配单词(非)边界位置
-
元字符 : \b \B
-
\b 匹配单词边界
-
\B
-
说明 : 单词边界是指普通字符(\w代表的字符)与其他字符的交界位置
In [32]: re.findall(r"\bis\b","This is a test") Out[32]: ['is'] In [35]: re.findall(r"-?\b[1-9][0-9]*\b","age:19,score:-60,000789") Out[35]: ['19', '-60']
-
总结
匹配字符:
匹配重复:* + ? { n } { m,n }
匹配位置:
其他:
四、正则表达式的转义
- 如果使用正则表达式匹配特殊字符,需要加 " \ " 表示转义
- 特殊字符: . * + ? ^ $ [] {} () | \
- raw 字符串的使用
- raw字符串:在字符串前面加“ r ”表示该字符串为raw字符串,这样的字符串不会进行转义处理。
五、贪婪与非贪婪
贪婪模式:默认情况下,匹配重复的元字符总是尽可能多的向后匹配更多的内容。比如 * + ?{ m,n }
非贪婪模式(懒惰):让元字符尽肯能少的匹配内容
贪婪 ==> 非贪婪 :
* ==> *?
+ ==> +?
? ==> ??
六、正则表达式分组
- 定义:在正则表达式中,以()建立正则表达式内部分组,子组时正则表达式的一部分,可作为内部整体操作
- 作用:作为内部整体,改变
- 捕获组
- 给正则表达式子组取一个名字,表达一定的意义,该组就是捕获组。
- 格式:?P
- 注意事项
- 一个正则表达式中可以有多个分组
- 子组可以嵌套
- 子组顺序一般由外到内,由左到右
七、正则表达式匹配原则
- 正确性,能够正确的匹配出目标字符串。
- 排他性,除了目标字符串外尽可能不匹配其他内容。
- 全面性,尽可能考虑到目标字符串所有情况,不遗漏。
八、Python3 的 re模块
-
regex = re.compile(pattern,flage = 0 )
-
功能:生成正则表达式对象
-
参数:pattern 正则表达式
flage 功能扩展标志位
-
返回:正则表达式对象
-
list = re.findall(pattern,string,flags = 0 )
功能:通过正则匹配目标字符串
参数:pattern 正则
string 目标字符串
返回:返回匹配到的内容列表,如果正则中有子组,则列表中元素为子组对应的内容。
- list = regex.findall(pattern,pos,flags = 0 )
功能:通过正则匹配目标字符串
参数:string 目标字符串
pos 截取目标字符串开始位置
endpos 截取目标字符串结束位置
返回:返回匹配到的内容列表,如果正则中有子组,则列表中元素为子组对应的内容。
-
list = re.split(pattern,string,flags = 0)
-
功能:通过正则匹配内容切割字符串
-
参数:pattern 正则
string 目标字符串
-
返回:返回切割后的内容列表。
-
s = re.sub(pattern,rel,string,count,flags=0)
-
功能: 使用指定字符串替换匹配到的内容
-
参数:
- pattern 正则
- rel 指定字符串
- string 目标字符串
- count 替换多少处,默认全部替换
-
返回值: 返回替换后的字符串
it = re.finditer(pattern,string,flags=0)
功能: 通过正则匹配目标字符串
参数: pattern 正则
string 目标字符串
返回值: 返回匹配内容的迭代对象
- re.fullmatch(pattern,string,flags=0)
功能: 通过正则匹配目标字符串全部内容
参数: pattern 正则
string 目标字符串
返回值: 返回匹配内容的match对象 - re.match(pattern,string,flags=0)
功能: 通过正则匹配目标字符串起始内容
参数: pattern 正则
string 目标字符串
返回值: 返回匹配内容的match对象 - re.search(pattern,string,flags=0)
功能: 通过正则匹配目标字符串第一处内容
参数: pattern 正则
string 目标字符串
返回值: 返回匹配内容的match对象
regex对象属性:
-
flags : flags标志位值
-
pattern : 正则表达式
-
groups : 子组数量
-
groupindex: 捕获组与组序列号形成的字典
In [6]: regex = re.compile(r"(ab)cd(Pef)",flags=re.I)
In [7]: regex.flags
Out[7]: 34In [8]: regex.pattern
Out[8]: ‘(ab)cd(?Pef)’In [9]: regex.groups
Out[9]: 2In [10]: regex.groupindex
Out[10]: mappingproxy({‘pig’: 2})match对象属性方法 (re/regex2.py)
1. 属性变量
print(obj.pos) # 匹配目标字符串开始位置
print(obj.endpos) # 匹配目标字符串结束位置
print(obj.re) # 正则表达式
print(obj.string) # 目标字符串
print(obj.lastgroup) # 最后一组的组名
print(obj.lastindex) # 最后一组序号
2. 属性方法
start() 获取匹配内容的开始位置
end() 获取匹配内容的结束位置
span() 获取匹配内容的起止位置
groupdict() 获取捕获组组名和对应内容的字典
groups() 获取子组对应内容
group()
功能: 获取match对象对应内容
参数: 默认得到全部匹配内容
组序号或者组名,则得到对应组内容
表达式全集
字符 | 描述 |
---|---|
\ | 将下一个字符标记为一个特殊字符、或一个原义字符、或一个向后引用、或一个八进制转义符。例如,“n ”匹配字符“n ”。“\n ”匹配一个换行符。串行“\\ ”匹配“\ ”而“\( ”则匹配“( ”。 |
^ | 匹配输入字符串的开始位置。如果设置了RegExp对象的Multiline属性,^也匹配“\n ”或“\r ”之后的位置。 |
$ | 匹配输入字符串的结束位置。如果设置了RegExp对象的Multiline属性,$也匹配“\n ”或“\r ”之前的位置。 |
* | 匹配前面的子表达式零次或多次。例如,zo*能匹配“z”以及“zoo”。*等价于{0,}。 |
+ | 匹配前面的子表达式一次或多次。例如,“zo+ ”能匹配“zo ”以及“zoo ”,但不能匹配“z ”。+等价于{1,}。 |
? | 匹配前面的子表达式零次或一次。例如,“do(es)? ”可以匹配“does ”或“does ”中的“do ”。?等价于{0,1}。 |
{n} | n是一个非负整数。匹配确定的n次。例如,“o{2} ”不能匹配“Bob ”中的“o ”,但是能匹配“food ”中的两个o。 |
{n,} | n是一个非负整数。至少匹配n次。例如,“o{2,} ”不能匹配“Bob ”中的“o ”,但能匹配“foooood ”中的所有o。“o{1,} ”等价于“o+ ”。“o{0,} ”则等价于“o* ”。 |
{n,m} | m和n均为非负整数,其中n<=m。最少匹配n次且最多匹配m次。例如,“o{1,3} ”将匹配“fooooood ”中的前三个o。“o{0,1} ”等价于“o? ”。请注意在逗号和两个数之间不能有空格。 |
? | 当该字符紧跟在任何一个其他限制符(*,+,?,{n},{n,},{n,m})后面时,匹配模式是非贪婪的。非贪婪模式尽可能少的匹配所搜索的字符串,而默认的贪婪模式则尽可能多的匹配所搜索的字符串。例如,对于字符串“oooo ”,“o+? ”将匹配单个“o ”,而“o+ ”将匹配所有“o ”。 |
. | 匹配除“\ n”之外的任何单个字符。要匹配包括“\ n”在内的任何字符,请使用像“(.|\n) ”的模式。 |
(pattern) | 匹配pattern并获取这一匹配。所获取的匹配可以从产生的Matches集合得到,在VBScript中使用SubMatches集合,在JScript中则使用$0…$9属性。要匹配圆括号字符,请使用“\( ”或“\) ”。 |
(?:pattern) | 匹配pattern但不获取匹配结果,也就是说这是一个非获取匹配,不进行存储供以后使用。这在使用或字符“(|) ”来组合一个模式的各个部分是很有用。例如“industr(?:y|ies) ”就是一个比“industry|industries ”更简略的表达式。 |
(?=pattern) | 正向肯定预查,在任何匹配pattern的字符串开始处匹配查找字符串。这是一个非获取匹配,也就是说,该匹配不需要获取供以后使用。例如,“Windows(?=95|98|NT|2000) ”能匹配“Windows2000 ”中的“Windows ”,但不能匹配“Windows3.1 ”中的“Windows ”。预查不消耗字符,也就是说,在一个匹配发生后,在最后一次匹配之后立即开始下一次匹配的搜索,而不是从包含预查的字符之后开始。 |
(?!pattern) | 正向否定预查,在任何不匹配pattern的字符串开始处匹配查找字符串。这是一个非获取匹配,也就是说,该匹配不需要获取供以后使用。例如“Windows(?!95|98|NT|2000) ”能匹配“Windows3.1 ”中的“Windows ”,但不能匹配“Windows2000 ”中的“Windows ”。预查不消耗字符,也就是说,在一个匹配发生后,在最后一次匹配之后立即开始下一次匹配的搜索,而不是从包含预查的字符之后开始 |
(?<=pattern) | 反向肯定预查,与正向肯定预查类拟,只是方向相反。例如,“(?<=95|98|NT|2000)Windows ”能匹配“2000Windows ”中的“Windows ”,但不能匹配“3.1Windows ”中的“Windows ”。 |
(?<!pattern) | 反向否定预查,与正向否定预查类拟,只是方向相反。例如“(?<!95|98|NT|2000)Windows ”能匹配“3.1Windows ”中的“Windows ”,但不能匹配“2000Windows ”中的“Windows ”。 |
x|y | 匹配x或y。例如,“z|food ”能匹配“z ”或“food ”。“(z|f)ood ”则匹配“zood ”或“food ”。 |
[xyz] | 字符集合。匹配所包含的任意一个字符。例如,“[abc] ”可以匹配“plain ”中的“a ”。 |
[^xyz] | 负值字符集合。匹配未包含的任意字符。例如,“[^abc] ”可以匹配“plain ”中的“p ”。 |
[a-z] | 字符范围。匹配指定范围内的任意字符。例如,“[a-z] ”可以匹配“a ”到“z ”范围内的任意小写字母字符。 |
[^a-z] | 负值字符范围。匹配任何不在指定范围内的任意字符。例如,“[^a-z] ”可以匹配任何不在“a ”到“z ”范围内的任意字符。 |
\b | 匹配一个单词边界,也就是指单词和空格间的位置。例如,“er\b ”可以匹配“never ”中的“er ”,但不能匹配“verb ”中的“er ”。 |
\B | 匹配非单词边界。“er\B ”能匹配“verb ”中的“er ”,但不能匹配“never ”中的“er ”。 |
\cx | 匹配由x指明的控制字符。例如,\cM匹配一个Control-M或回车符。x的值必须为A-Z或a-z之一。否则,将c视为一个原义的“c ”字符。 |
\d | 匹配一个数字字符。等价于[0-9]。 |
\D | 匹配一个非数字字符。等价于0-9。 |
\f | 匹配一个换页符。等价于\x0c和\cL。 |
\n | 匹配一个换行符。等价于\x0a和\cJ。 |
\r | 匹配一个回车符。等价于\x0d和\cM。 |
\s | 匹配任何空白字符,包括空格、制表符、换页符等等。等价于[ \f\n\r\t\v]。 |
\S | 匹配任何非空白字符。等价于 \f\n\r\t\v。 |
\t | 匹配一个制表符。等价于\x09和\cI。 |
\v | 匹配一个垂直制表符。等价于\x0b和\cK。 |
\w | 匹配包括下划线的任何单词字符。等价于“[A-Za-z0-9_] ”。 |
\W | 匹配任何非单词字符。等价于“[^A-Za-z0-9_] ”。 |
\xn | 匹配n,其中n为十六进制转义值。十六进制转义值必须为确定的两个数字长。例如,“\x41 ”匹配“A ”。“\x041 ”则等价于“\x04&1 ”。正则表达式中可以使用ASCII编码。. |
num | 匹配num,其中num是一个正整数。对所获取的匹配的引用。例如,“(.)\1 ”匹配两个连续的相同字符。 |
n | 标识一个八进制转义值或一个向后引用。如果n之前至少n个获取的子表达式,则n为向后引用。否则,如果n为八进制数字(0-7),则n为一个八进制转义值。 |
nm | 标识一个八进制转义值或一个向后引用。如果nm之前至少有nm个获得子表达式,则nm为向后引用。如果*nm之前至少有n个获取,则n为一个后跟文字m的向后引用。如果前面的条件都不满足,若n和m均为八进制数字(0-7),则nm将匹配八进制转义值nm*。 |
nml | 如果n为八进制数字(0-3),且m和l均为八进制数字(0-7),则匹配八进制转义值nml。 |
\un | 匹配n,其中n是一个用四个十六进制数字表示的Unicode字符。例如,\u00A9匹配版权符号(©)。 |