一、正则表达式是什么东西?
字符是计算机软件处理文字时最基本的单位,可能是字母,数字,标点符号,空格,换行符,汉字等。
字符串是0或更多个字符的序列。
文本就是文字,字符串。说某个字符串匹配某个正则表达式,通常指字符串里有部分(或几部分)能满足表达式的条件。
正则表达式就是记录文本规则的代码。和通配符类似,正则表达式也是用来文本匹配的工具,但比通配符,它更精确。
二、入门
假设查找hi,用正则表达式可精确匹配:由hi两个字符组成。正则表达式工具会提供忽略大小写的选项。
但如从him,history,high等要精确查找hi单词,用\bhi\b。
\b是正则表达式的元字符(metacharacter),表单词的分界处。虽然英文的单词由空格,标点符号或换行来分隔,但\b并不匹配单词分隔字符中的任何一个,它只匹配一个位置。
如果要更精确,\b匹配这样的位置:它的前一字符和后一字符不全是(一个是,一个不是或不存在)\w。
如要查找同时包含hi和Lucy,用 \bhi\b.*\bLucy\b
。
. 也是个元字符,匹配除换行符的任意字符。它代表的既不是字符,也不是位置,而是数量(前边内容可重复任意次)。因此,.* 连在一起就表示任意数量不含换行的字符。\bhi\b.*\bLucy\b
表示:先是单词hi,然后是任意数量的任意字符(除换行),最后是Lucy单词。
换行符是’\n’,ASCII码为10(十六进制0x0A)的字符。
如果同时用其它元字符,就能造出更强大的正则表达式。如:0\d\d-\d\d\d\d\d\d\d\d
匹配字符串:以0开头,然后是两个数字,接着是连字号“-”,最后是8个数字。
\d
是个新元字符,匹配一位数字。-不是元字符,只匹配它本身。
为避免多次重复可简写: 0\d{2}-\d{8}
。{2}、{8}指前面\d重复匹配2次(8次)。
三、测试正则表达式
其它可用的测试工具:
四、元字符
\ba\w*\b
匹配以字母a开头单词—先是某单词开始处 \b
,然后是字母a,然后是任意数量的字母或数字 \w*
,最后是单词结束处 \b
。
\d+
匹配1个或连续的数字。这里的+是元字符,但*匹配重复任意次(可能是0次),而+则匹配重复1次或多次。
\b\w{6}\b
匹配刚好6个字符的单词。
代码 | 说明 |
---|---|
. | 匹配除换行符以外的任意字符 |
\w | 匹配字母/数字/下划线/汉字 |
\s | 匹配任意的空白符(包括空格,制表符(Tab),换行符,中文全角空格等) |
\d | 匹配数字 |
\b | 匹配单词的开始或结束 |
^ | 匹配字符串的开始,与\b类似 |
$ | 匹配字符串的结束,与\b类似 |
如果不用^和$,\d{5,12}
就只匹配字符串里5到12个连续位数字,而不是整个字符串就是5到12位数字。
这里的{5,12}和{2}类似,只不过{2}匹配恰好2次,{5,12}则是重复的次数不能少于5次,不能多于12次,否则都不匹配。
和忽略大小写的选项类似,有些正则表达式处理工具还有个处理多行的选项。如果选中了这个选项,^和$的意义就变成了匹配行的开始处和结束处。
五、字符转义\
如果想查找元字符本身,如查找.,或者*,用\. 。如:deerchao.net匹配deerchao.net,C:\Windows匹配C:\Windows。
六、限定符-重复
正则表达式中所有的限定符(指定数量的代码,如*,{5,12}等):
代码/语法 | 说明 |
---|---|
* | 重复零次或更多次 |
+ | 重复一次或更多次 |
? | 重复零次或一次 |
{n} | 重复n次 |
{n,} | 重复n次或更多次 |
{n,m} | 重复n到m次 |
下面是使用重复的例子:
Windows\d+匹配Windows后面跟1个或更多数字
^\w+
匹配一行的第一个单词(或整个字符串的第一个单词)
七、字符类[]
如果匹配无元字符的字符集合(如元音字母a,e,i,o,u),怎么办?
只需在方括号里列出,[aeiou]就匹配任何元音字母,[.?!]匹配标点符号(.或?或!)。
也可指定字符范围,像[0-9]含意与\d一致;同理[a-z0-9A-Z_]也等同于\w(英文)。
下面是复杂表达式:\(?0\d{2}[) -]?\d{8}
。“(”和“)”是元字符,需转义。
这个表达式可匹配几种格式的号码,像(010)88886666,或022-22334455,或02912345678等。分析:首先个转义字符\(
,出现0次或1次(?),然后是0,后面是2个数字(\d{2}),然后是)或-或空格中的一个,它出现1次或不出现(?),最后是8个数字(\d{8})。
八、分枝条件 |
但刚才那个表达式也能匹配010)12345678或(022-87654321的“不正确”格式。要解决,需用分枝条件。正则的分枝条件指有几种规则,如果满足任意一种规则都应该当成匹配,具体方法是用 | 把不同的规则分隔。
0\d{2}-\d{8}|0\d{3}-\d{7}
能匹配两种以连字号分隔的号码:一种是三位区号,8位本地号(如010-12345678),一种是4位区号,7位本地号(0376-2233445)。
\(?0\d{2}\)?[- ]?\d{8}|0\d{2}[- ]?\d{8}
匹配3位区号的号码,其中区号可用小括号括起来,区号与本地号间可用连字号或空格间隔,也可无间隔。
\d{5}-\d{4}|\d{5}
匹配美国的邮编。美国邮编的规则是5位数字,或用连字号间隔的9位数字。说明:使用分枝条件时,要注意各条件顺序。
改成 \d{5}|\d{5}-\d{4}
,就只匹配5位邮编(及9位邮编的前5位)。原因:匹配分枝条件时,从左到右测试每个条件,如果满足某分枝,就不管其它分支。
九、分组()
重复单个字符可在字符后加限定符;但重复多个字符怎么办?可用小括号指定子表达式(也叫分组),然后可指定子表达式的重复次数。
(\d{1,3}\.){3}\d{1,3}
是简单的IP匹配表达式。分析:\d{1,3}
匹配1到3位的数字,(\d{1,3}\.){3}
匹配三位数字加一个英文句号(这个整体也是个分组)重复3次,最后再加个一到三位的数字(\d{1,3})。
IP地址中每个数字都不能大于255,它也将匹配256.300.888.999这种不存在的IP地址。正则表达式中并不提供关于数学的任何功能,所以只能用冗长的分组,选择,字符类来描述一个正确的IP地址:((2[0-4]\d|25[0-5]|[01]?\d\d?)\.){3}(2[0-4]\d|25[0-5]|[01]?\d\d?)
。
理解该表达式的关键是理解 2[0-4]\d|25[0-5]|[01]?\d\d?
。
十、反义
有时要查找不属于某个简单定义的字符类的字符。如查找除数字外,其它任意字符都行的情况,这时需用反义:
代码/语法 | 说明 |
---|---|
\W | 匹配任意不是字母,数字,下划线,汉字的字符 |
\S | 匹配任意不是空白符的字符 |
\D | 匹配任意非数字的字符 |
\B | 匹配不是单词开头或结束的位置 |
[^x] | 匹配除了x以外的任意字符 |
[^aeiou] | 匹配除了aeiou这几个字母以外的任意字符 |
例子:\S+
匹配不包含空白符的字符串。
<a[^>]+>
匹配用尖括号括起来的以a开头的字符串。
十一、后向引用
用小括号指定一个子表达式后,匹配该子表达式的文本(此分组捕获内容)可在表达式或其它程序中作进一步处理。
默认每个分组会自动有一个组号,规则是:从左向右,以分组的左括号为标志,第一个出现的分组的组号为1,第二个为2,以此类推。
组号分配:
- 分组0对应整个正则表达式
- 实际上组号分配过程是从左向右扫描两遍的:第一遍只给未命名组分配,第二遍只给命名组分配,所有命名组的组号都大于未命名组号
- 可用
(?:exp)
语法来剥夺一个分组对组号分配的参与权.
后向引用用于重复搜索前面某分组匹配的文本。如 \1
代表分组1匹配的文本。请看示例:
\b(\w+)\b\s+\1\b
可用来匹配重复单词,像go go, 或kitty kitty。这个表达式首先是一个单词,即单词开始处和结束处区间的多于一个的字母或数字(\b(\w+)\b)
,这个单词会被捕获到编号为1的分组中,然后是1个或几个空白符(\s+)
,最后是分组1中捕获的内容(前面匹配的那个单词)(\1)
。
可自己指定子表达式的组名。要指定一个子表达式的组名,语法:(?<Word>\w+)
(或把尖括号换成’也行:(?'Word'\w+)
),这样就把\w+
的组名指定为Word。要反向引用这个分组的内容,可用\k<Word>
,所以也可写成:\b(?<Word>\w+)\b\s+\k<Word>\b
。
小括号,还有很多特定用途的语法。下面列出常用的一些:
分类 | 代码/语法 | 说明 |
---|---|---|
捕获 | (exp) | 匹配exp,并捕获文本到自动命名的组里 |
(?exp) | 匹配exp,并捕获文本到名为name的组,也可写成(?'name’exp) | |
(?:exp) | 匹配exp,不捕获匹配的文本,也不给此分组分配组号 | |
零宽断言 | (?=exp) | 匹配exp前面的位置 |
(?<=exp) | 匹配exp后面的位置 | |
(?!exp) | 匹配后面跟的不是exp的位置 | |
(?<!exp) | 匹配前面不是exp的位置 | |
注释 | (?#comment) | 这类型分组不对正则表达式的处理产生影响,用于提供注释 |
已讨论前两种语法。第三个(?:exp)不会改变正则表达式的处理方式,只是这样的组匹配的内容不像前两种那样被捕获到某组里,也没有组号。
十二、零宽断言
接下来的四个用于查找在某些内容(但不包括这些内容)之前或之后的东西,它们像\b,^,$
用于指定位置,这个位置应满足一定条件(即断言),也称为零宽断言。
断言用来声明一个为真的事实。正则表达式中只有当断言为真时才继续匹配。
(?=exp)
也叫零宽度正预测先行断言,它断言自身出现的位置的后面能匹配表达式exp。如\b\w+(?=ing\b)
,匹配ing结尾的单词的前面部分(除ing的部分),如查找I’m singing while you’re dancing.时,它会匹配sing和danc。
(?<=exp)
也叫零宽度正回顾后发断言,它断言自身出现的位置的前面能匹配表达式exp。如(?<=\bre)\w+\b
匹配以re开头的单词的后半部分(除re的部分),如查找reading a book时,它匹配ading。
如给很长的数字中每三位间加个逗号(从右边加起),查找需要在前面和里面添加逗号的部分如下:((?<=\d)\d{3})+\b
,用它对1234567890查找时结果是234567890。
下例同时用两种断言:(?<=\s)\d+(?=\s)
匹配以空白符间隔的数字(再次强调,不包括这些空白符)。
十三、负向零宽断言
前面提到怎么查找不在某字符类里字符的方法(反义)。但如想要确保某字符没出现,但并不想去匹配它时怎么办?如查找单词–它里面出字母q,但q后面跟的不是字母u,可尝试这样:
\b\w*q[^u]\w*\b
匹配包含后面不是字母u的字母q的单词。但如果多做测试会发现,如果q出现在单词结尾,像Iraq,Benq,这个表达式就会出错。因为[^u]
总要匹配一个字符,所以如果q是单词的最后个字符,后面的[^u]
会匹配q后面的单词分隔符(可能是空格,或是句号或其它的什么),后面的\w*\b
会匹配下个单词,\b\w*q[^u]\w*\b
能匹配整个Iraq fighting。负向零宽断言能解决该问题,因为它只匹配一个位置,并不消费任何字符。解决如下:\b\w*q(?!u)\w*\b
。
零宽度负预测先行断言(?!exp),断言此位置后不能匹配表达式exp。如:\d{3}(?!\d)
匹配三位数,且三位数后不是数字;\b((?!abc)\w)+\b
匹配不包含连续字符串abc的单词。
同理,用(?<!exp)
,零宽度负回顾后发断言来断言此位置前不能匹配表达式exp:(?<![a-z])\d{7}
匹配前面不是小写字母的七位数字。
详细分析表达式(?<=<(\w+)>).*(?=<\/\1>)
,最能表现零宽断言的真正用途。
更复杂的例子:(?<=<(\w+)>).*(?=<\/\1>)
匹配不含属性的简单HTML标签里的内容。(?<=<(\w+)>)
指定前缀:被尖括号括起来的单词(如可能是<b>)
,然后是.*
(任意的字符串),最后是后缀(?=<\/\1>)
。注意后缀里的\/
,它用到了字符转义;\1则是个反向引用,引用的正是捕获的第一组,前面的(\w+)
匹配的内容,这样如果前缀是的话,后缀就是了。整个表达式匹配的是和之间的内容(提醒:不包括前缀和后缀本身)。
十四、注释
小括号的用途2是通过(?#comment)
包含注释。如:2[0-4]\d(?#200-249)|25[0-5](?#250-255)|[01]?\d\d?(?#0-199)
。
要包含注释,最好启用“忽略模式里的空白符”选项,这样在编写表达式时能任意加空格,Tab,换行,而实际使用时这些都将被忽略。启用这个选项后,在#后面到这一行结束的所有文本都被当成注释忽略掉。如前面的表达式写成这样:
(?<= # 断言要匹配的文本的前缀
<(\w+)> # 查找尖括号括起来的字母或数字(即HTML/XML标签)
) # 前缀结束
.* # 匹配任意文本
(?= # 断言要匹配的文本的后缀
<\/\1> # 查找尖括号括起来的内容:前面是一个"/",后面是先前捕获的标签
) # 后缀结束
十五、贪婪与懒惰
当正则表达式中包含能接受重复的限定符时,通常的行为是(在使整个表达式能得到匹配的前提下)匹配尽可能多的字符。以这个表达式为例:a.*b
,它将会匹配最长的以a开始,以b结束的字符串。如果用它来搜索aabab的话,它会匹配整个字符串aabab。这被称为贪婪匹配。
有时,需要懒惰匹配,即匹配尽可能少的字符。前面给出的限定符都可被转化为懒惰匹配模式,只要在它后面加上个问号?。这样.*?就能匹配任意数量的重复,但在能使整个匹配成功的前提下使用最少的重复。现在看看懒惰版的例子吧:
a.*?b
匹配最短的,以a开始b结束的字符串。如果把它应用于aabab,它会匹配aab(第一到第三个字符)和ab(第四到第五个字符)。
为什么第一个匹配是aab(第一到第三个字符)而不是ab(第二到第三个字符)?因为正则表达式有另条规则,比懒惰/贪婪规则的优先级更高:最先开始的匹配拥有最高的优先权——The match that begins earliest wins。
代码/语法 | 说明 |
---|---|
*? | 重复任意次,但尽可能少重复 |
+? | 重复1次或更多次,但尽可能少重复 |
?? | 重复0次或1次,但尽可能少重复 |
{n,m}? | 重复n到m次,但尽可能少重复 |
{n,}? | 重复n次以上,但尽可能少重复 |
十六、处理选项
在C#中,用Regex(String, RegexOptions)构造函数设正则表达式的处理项。如:Regex regex = new Regex(@"\ba\w{6}\b", RegexOptions.IgnoreCase)
;
上面介绍了几个选项如忽略大小写,处理多行等,这些选项能用来改变处理正则表达式的方式。
问题:是不是只能同时用多行模式和单行模式中的一种?不是。这两个选项间没任何关系,除了名字较相似。
十七、平衡组/递归匹配
要匹配像( 100 * ( 50 + 15 ) )
的可嵌套的层次性结构,这时用\(.+\)
则只会匹配到最左的左括号和最右的右括号之间的内容(贪婪模式,懒惰模式也有下面问题)。假如原字符串的左右括号数量不等,如( 5 / ( 3 + 2 ) ) )
,那匹配结果里两者的个数也不等。那有无办法匹配到最长的,配对的括号间的内容呢?
为避免(和(这里用尖括号代替圆括号。问题变成如何把 xx <aa <bbb> <bbb> aa> yy
这样的字符串,最长的配对的尖括号内的内容捕获出来?
这里需用以下语法构造:
(?'group')
把捕获的内容命名为group,并压入堆栈(Stack)(?'-group')
从堆栈上弹出最后压入堆栈的名为group的捕获内容,如果堆栈本来为空,则本分组的匹配失败(?(group)yes|no)
如果堆栈上存在以名为group的捕获内容的话,继续匹配yes部分的表达式,否则继续匹配no部分(?!)
零宽负向先行断言,由于无后缀表达式,试图匹配总是失败
第一个是在黑板上写"group",第二个是从黑板上擦掉"group",第三个是看黑板上有无"group",如有就继续匹配yes部分,否则就匹配no部分。
这里每碰到左括号,就压入个"Open",每碰到右括号,就弹出一个,到最后看堆栈是否为空,如果不为空就证明左括号比右括号多,匹配失败。正则表达式引擎会回溯(放弃最前面或最后面的字符),尽量使整个表达式得到匹配。
< #最外层左括号
[^<>]* #最外层的左括号后的非括号内容
(
(
(?'Open'<) #碰到左括号,在黑板上写个"Open"
[^<>]* #匹配左括号后的非括号内容
)+
(
(?'-Open'>) #碰到右括号,擦掉个"Open"
[^<>]* #匹配右括号后非括号内容
)+
)*
(?(Open)(?!)) #最外层的右括号前,判断黑板上有无没擦掉的"Open";如果有则匹配失败
> #最外层的右括号
平衡组常见的应用是匹配HTML,下例可匹配嵌套的
<div[^>]*>[^<>]*(((?'Open'<div[^>]*>)[^<>]*)+((?'-Open'</div>)[^<>]*)+)*(?(Open)(?!))</div>.
十八、还有些什么东西没提到
下面是些未提到的元素的列表,包含语法和简单的说明。
详细的信息参考关于正则表达式语言元素的MSDN在线文档。
代码/语法 | 说明 |
---|---|
\a | 报警字符(打印它的效果是电脑嘀一声) |
\b | 通常是单词分界位置,但如果在字符类里使用代表退格 |
\t | 制表符,Tab |
\r | 回车 |
\v | 竖向制表符 |
\f | 换页符 |
\n | 换行符 |
\e | Escape |
\0nn | ASCII代码中八进制代码为nn的字符 |
\xnn | ASCII代码中十六进制代码为nn的字符 |
\unnnn | Unicode代码中十六进制代码为nnnn的字符 |
\cN | ASCII控制字符。比如\cC代表Ctrl+C |
\A | 字符串开头(类似^,但不受处理多行选项的影响) |
\Z | 字符串结尾或行尾(不受处理多行选项的影响) |
\z | 字符串结尾(类似$,但不受处理多行选项的影响) |
\G | 当前搜索的开头 |
\p{name} | Unicode中命名为name的字符类,例如\p{IsGreek} |
(?>exp) | 贪婪子表达式 |
(?-exp) | 平衡组 |
(?im-nsx:exp) | 在子表达式exp中改变处理选项 |
(?im-nsx) | 为表达式后面的部分改变处理选项 |
(?(exp)yes|no) | 把exp当作零宽正向先行断言,如果在这个位置能匹配,使用yes作为此组的表达式;否则使用no |
(?(exp)yes) | 同上,只是使用空表达式作为no |
(?(name)yes|no) | 如果命名为name的组捕获到了内容,使用yes作为表达式;否则使用no |
(?(name)yes) | 同上,只是使用空表达式作为no |