正则表达式
概述
正则表达式是文本处理极为重要的技术,用它可以对字符串按照某种规则进行检索,替换
分类
- BRE
基本正则表达式,grep、sed、vi等软件支持。vim有扩展。 - ERE
扩展正则表达式,egrep(grep -E)、sed -r等。 - PCRE
几乎所有高级语言都是PCRE的方言或者变种。Python从1.6开始使用SRE正则表达式引擎,可以认为是PCRE
的子集,见模块re。
基本语法
元字符
重点说明: 元字符匹配的都是一个字符
代码 | 说明 | 举例 |
---|---|---|
. | 匹配除换行符外的任意一个字符 | |
[abc] /[a-z] | 匹配中括号内出现的任意一个字符 /匹配a-z之间任意的一个字符 | |
[^abc] | 匹配去除括号内出现的任意字符 | |
\b | 匹配单词的边界 | \bm,以m开头的字符 例如m\b 以m结尾的字符 |
\B | 不匹配单词的边界 | t\B 包含t的单词但是不以t结尾的t字符,例如 write \Bb不以b开头的含有b的单词,例如able |
\d | [0-9]匹配1位的字符 | |
\D | [^0-9]匹配1位非数字 | |
\s | 匹配1位空白字符,包括换行符、制表符、空 格 [ \f\r\n\t\v] |
|
\S | 匹配1位非空白字符 | |
\w | 匹配[a-zA-Z0-9_],包括中文的字 | |
\W | 匹配\w之外的字符 | |
[^abc] | 中括号内的^ 表示除了中扩号内的都可以匹配 |
转义
凡是在正则表达式中有特殊意义的符号,如果想使用它的本意,请使用\转义。
反斜杠自身,得使用\
\r、\n还是转义后代表回车、换行
重复匹配
代码 | 说明 | 举例 |
---|---|---|
* | 表示前面的正则表达式会重复0次或多次 | y\w* 单词中y后面可以有非空白字符 |
+ | 表示前面的正则表达式重复至少1 | y\w+ 单词中y后面至少有一个非空白字符 |
? | 表示前面的正则表达式会重复0次或1次 | y\w? 单词中y后面至多有一个非空白字符 可是1或者是0 |
{n} | 重复固定的n次 | y\w{1} 单词中y后面只能有一个非空白字符 |
{n,} | 重复至少n次 | y\w{1,} 等价 y\w+至少一次 y\w{0,} 等价 y\w*至少0次 y\w{0,1} 等价 y\w?至多1次 |
{n,m} | 重复n到m次 | y\w{1,10} 单词中y后面至少1个,至多10个非空白字符 |
x|y | 匹配x或者y字符 | wood took foot food 使用 w|food 或者(w|f)ood |
分组
代码 | 说明 | 举例 |
---|---|---|
(pattem) | 使用小括号指定一个子表达式,也叫分组 捕获后会自动分配组号从1开始 可以改变优先级 |
wood took foot food (w|f)ood 得到两个分组 一个是w的分组,另外一个是f的分组 |
\组数字 | 匹配对应的分组 | (very) \1 匹配very very,但捕获的组 group是very |
(?:pattern) | 如果仅仅为了改变优先级,就不需要捕获分组 | (?:w|f)ood ’industr(?:y|ies) 等价’industry|industries |
(? exp) (?'name’exp) |
命名分组捕获,但是可以通过name访问分组 Python语法必须是(?Pexp) |
(?P
|
断言
后面的断言不参与输出,但参与匹配,相当于判断
代码 | 说明 | 举例 |
---|---|---|
(?=exp) | 零宽度正预测先行断言 断言exp一定在匹配的右边出现,也就是说断 言后面一定跟个exp |
f(?=oo) f后面一定有oo出现 |
(?<=exp) | 零宽度正回顾后发断言 断言exp一定出现在匹配的左边出现,也就是 说前面一定有个exp前缀 |
(?<=f)ood、(?<=t)ook分别匹配ood、 ook,ook前一定有 t 出现 |
负向零宽断言 | ||
(?!exp) | 零宽度负预测先行断言 断言exp一定不会出现在右侧,也就是说断言 后面一定不是exp |
\d{3}(?!\d)匹配3位数字,断言3位数字后 面一定不能是数字 foo(?!d) foo后面一定不是d |
(?<!exp) | 零宽度负回顾后发断言 断言exp一定不能出现在左侧,也就是说断言 前面一定不能是exp |
(?<!f)ood ood的左边一定不是f |
贪婪与非贪婪
默认模式是贪婪模式,也就是尽可能多的匹配更长的字符
非贪婪模式很简单,在重复的符号后面加上一个 ? 问号,就尽量的少匹配了.
代码 | |
---|---|
*? | 匹配任意次,但尽可能的少重复 |
+? | 匹配至少1次,但尽可能的少重复 |
?? | 匹配0次或1次,但尽可能的少重复 |
{n}? | 匹配至少n次,但尽可能的少重复 |
{n,m}? | 匹配至少n次,至多m次,但尽可能的少重复 |
单行模式 与多行模式
单行模式:
将原有点的能力增强,去掉了原先换行符,也就是点功能可以匹配任意字符,从头到尾
. 可以匹配所有字符,包括换行符
^ 表示整个字符串的开头,$整个字符串的结尾
多行模式:
. 可以匹配除了换行符之外的字符,多行不影响.点号
^ 表示行首,$行尾,只不过这里的行是每一个行
**默认模式:**可以看做待匹配的文本是一行,不能看做多行,.点号不能匹配换行符,^和$表示行首和行尾,而行首行尾就是整个字符串的开头和结尾
单行模式和多行模式都没勾选在默认模式下没有多行的概念 默认模式下,不管文本多少行,都只认为一行,即使有换行符
元字符点不能匹配换行 ,匹配时会被阻隔
单行模式:基本和默认模式一样,只是.点号终于可以匹配任意一个字符包括换行符,这时所有文本就是一个长长的只有一行的字符串。^就是这一行字符串的行首,$就是这一行的行尾。
多行模式:重新定义了行的概念,但不影响.点号的行为,^和$还是行首行尾的意思,只不过因为多行模式可以识别换行
符了。"开始"指的是\n后紧接着下一个字符;"结束"指的是\n前的字符,注意最后一行结尾可以没有\n
简单讲,单行模式只影响.点号行为,多行模式重新定义行影响了^和$
注意:注意字符串中看不见的换行符,\r\n会影响e 的 测 试 , e 的测试,e 的测试,e只能匹配e\ns
举例:
# 现有文本如下
wood
food
feet
在不同模式下匹配的结果分别是什么
^.+$ ^.+ 结果又是什么呢?
单行模式: woodfoodfeet #总共14个字符位,算是换行符##分隔符 与前面一样
多行模式 None ##分隔符 wood food feet #每个单词都是4个字符位
单多行 woodfoodfeet ##分隔符 与单行模式一样
默认 None ##分隔符 只有一个wood,不能越过换行符
其他补充:
代码 | 说明 | 举例 |
---|---|---|
^ | 以什么开头 | ^\w任意[a-zA-Z0-9_]开头 |
$ | 以什么结尾 | $w 匹配以字符w结尾 |
了解了正则表达式的基本语法之后就可以到python 中应用了.
Python的正则表达式
Python 使用re模块提供了正则表达式的处理能力
定义模式
代码 | 说明 |
---|---|
re.M re,MULTIINE |
多行模式 |
re.S re.DOTALL |
单行模式 |
re.l re.IGNORECASE |
忽略大小写 |
re.X re.VERBOSE |
忽略表达式中的空白字符 |
方法
编译
re.compile( '正则表达式名',flag = 0)
# 返回值是正则表达式对象 缺省值flag = 0,可以自己设定如,re.M re.S 或者组合使用 re.M | re.S
# 这里的叠加使用的是字节的异或运算,每一种模式都是2的n次幂,这样在异或运算时不会互相影响
编译的好处就是先行编译,可以提高效率.
单次匹配
可以分类为re.match
和re.search
match 匹配字符从字符的开头匹配,不论正则表达式条件是什么,都是从开头进行匹配
serach 匹配是从头搜索直到第一个匹配
re.fullmatch(‘正则表达式’,目标源,flag = 0) 整个文本的匹配
若先编译后
regex = re.compile( ‘正则表达式名’,re.M| re.S)
regex.match(string[, pos[, endpos]])
可以匹配从指定位置,或者从指定位置到指定位