形式化语言理论
正则表达式可以用形式化语言 理论的方式来表达。正则表达式由常量和算子组成,它们分别指示字符串的集合和在这些集合上的运算。给定有限字母表 Σ 定义了下列常量:
定义了下列运算:
- (“串接 ”) RS 指示集合 { αβ | α ∈ R ∧ β ∈ S }。例如 {"ab"|"c"}{"d"|"ef"} = {"abd", "abef", "cd", "cef"}。
- (“选择”) R |S 指示 R 和 S 的并集。
- (“Kleene星号 ”) R * 指示包含 ε 并且闭包 在字符串串接下的 R 的最小超集 。这是可以通过 R 中的零或多个字符串的串接得到所有字符串的集合。例如,{"ab", "c"}* = {ε, "ab", "c", "abab", "abc", "cab", "cc", "ababab", ... }。
上述常量和算子形成了克莱尼代数 。
很多课本使用对选择使用符号 ∪ , + 或 ∨ 替代竖杠。
为了避免括号,假定 Kleene 星号有最高优先级,接着是串接,接着是并集。如果没有歧义则可以省略括号。例如,(ab)c
可以写为 abc
而 a|(b(c*))
可以写为 a|bc*
。
例子:
-
a|b*
指示 {ε, a , b , bb , bbb , ...}。 -
(a|b)*
指示由包括空串、任意数目个 a 或 b 字符组成的所有字符串的集合。 -
ab*(c|ε)
指示开始于一个 a 接着零或多个 b 和最终可选的一个 c 的字符串的集合。
正则表达式的形式定义故意非常精简,避免定义多余的量词 ?
和 +
,它们可以被表达为: a+
= aa*
和 a?
= (a|ε)
。有时增加补算子 ~ ;~R 指示在 Σ* 上的不在 R 中的所有字符串的集合。补算子是多余的,因为它使用其他算子来表达(尽管计算这种表示的过程是复杂的,而结果可能指数性的增大)。
这种意义上的正则表达式可以表达正则语言 ,精确的是可被有限状态自动机 接受的语言类。但是在简洁性上有重要区别。某类正则语言只能用大小指数增长的自动机来描述,而要求的正则表达式的长度只线性的增长。正则表达式对应于乔姆斯基层级 的类型-3文法 。在另一方面,在正则表达式和不导致这种大小上的爆炸的非确定有限状态自动机 (NFA)之间有简单的映射;为此 NFA 经常被用作正则表达式的替代表示。
我们还要在这种形式化中研究表达力。如下面例子所展示的,不同的正则表达式可以表达同样的语言: 这种形式化中存在着冗余。
有可能对两个给定正则表达式写一个算法 来判定它们所描述的语言是否本质上相等,简约每个表达式到极小确定有限自动机,确定它们是否同构 (等价)。
这种冗余可以消减到什么程度? 我们可以找到仍有完全表达力的正则表达式的有趣的子集吗? Kleene 星号和并集明显是需要的,但是我们或许可以限制它们的使用。这提出了一个令人惊奇的困难问题。因为正则表达式如此简单,没有办法在语法上把它重写成某种规 范形式。过去公理化的缺乏导致了星号高度问题 。最近 Dexter Kozen 用克莱尼代数 公理化了正则表达式。
很多现实世界的“正则表达式”引擎实现了不能用正则表达式代数表达的特征。
[编辑 ] 表达式全集
正则表达式有多種不同的风格。下表是在PCRE中元字符及其在正则表达式上下文中的行为的一个完整列表:
字符 | 描述 |
---|---|
\ | 将下一个字符标记为一个特殊字符、或一个原义字符、或一个向后引用、或一个八进制转义符。例如,「n 」匹配字符「n 」。「\n 」匹配一个换行符。序列「\\ 」匹配「\ 」而「\( 」则匹配「( 」。 |
^ | 匹配输入字符串的开始位置。如果设置了RegExp对象的Multiline属性,^也匹配「\n 」或「\r 」之后的位置。 |
$ | 匹配输入字符串的结束位置。如果设置了RegExp对象的Multiline属性,$也匹配「\n 」或「\r 」之前的位置。 |
* | 匹配前面的子表达式零次或多次。例如,zo*能匹配「z 」以及「zoo 」。*等价于{0,}。 |
+ | 匹配前面的子表达式一次或多次。例如,「zo+ 」能匹配「zo 」以及「zoo 」,但不能匹配「z 」。+等价于{1,}。 |
? | 匹配前面的子表达式零次或一次。例如,「do(es)? 」可以匹配「does 」或「does 」中的「do 」。?等价于{0,1}。 |
{n } | n 是一个非负整数。匹配确定的n 次。例如,「o{2} 」不能匹配「Bob 」中的「o 」,但是能匹配「food 」中的两个o。 |
{n ,} | n 是一个非负整数。至少匹配n 次。例如,「o{2,} 」不能匹配「Bob 」中的「o 」,但能匹配「foooood 」中的所有o。「o{1,} 」等价于「o+ 」。「o{0,} 」则等价于「o* 」。 |
{n ,m } | m 和n 均为非负整数,其中n <=m 。最少匹配n 次且最多匹配m 次。例如,「o{1,3} 」将匹配「fooooood 」中的前三个o。「o{0,1} 」等价于「o? 」。请注意在逗号和两个数之间不能有空格。 |
? | 当该字符紧跟在任何一个其他限制符(*,+,?,{n },{n ,},{n ,m })后面时,匹配模式是非贪婪的。非贪婪模式尽可能少的匹配所搜索的字符串,而默认的贪婪模式则尽可能多的匹配所搜索的字符串。例如,对于字符串「oooo 」,「o+? 」将匹配单个「o 」,而「o+ 」将匹配所有「o 」。 |
. | 匹配除「\ n 」之外的任何单个字符。要匹配包括「\ n 」在内的任何字符,请使用像「(.|\n) 」的模式。 |
(pattern) | 匹配pattern并获取这一匹配。所获取的匹配可以从产生的Matches集合得到,在VBScript中使用SubMatches集合,在JScript中则使用$0…$9属性。要匹配圆括號字符,请使用「\( 」或「\) 」。 |
(?:pattern) | 匹配pattern但不获取匹配结果,也就是说这是一个非获取匹配,不进行存储供以后使用。这在使用或字符「(|) 」来组合一个模式的各个部分是很有用。例如「industr(?:y|ies) 」就是一个比「industry|industries 」更简略的表达式。 |
(?=pattern) | 正向肯定预查,在任何匹配pattern的字符串开始处匹配查找字符串。这是一个非获取匹配,也就是说,该匹配不需要获取供以后使用。例如,「Windows(?=95|98|NT|2000) 」能匹配「Windows2000 」中的「Windows 」,但不能匹配「Windows3.1 」中的「Windows 」。预查不消耗字符,也就是说,在一个匹配发生后,在最后一次匹配之后立即开始下一次匹配的搜索,而不是从包含预查的字符之后开始。 |
(?!pattern) | 正向否定预查,在任何不匹配pattern的字符串开始处匹配查找字符串。这是一个非获取匹配,也就是说,该匹配不需要获取供以后使用。例如「Windows(?!95|98|NT|2000) 」能匹配「Windows3.1 」中的「Windows 」,但不能匹配「Windows2000 」中的「Windows 」。预查不消耗字符,也就是说,在一个匹配发生后,在最后一次匹配之后立即开始下一次匹配的搜索,而不是从包含预查的字符之后开始 |
(?<=pattern) | 反向肯定预查,与正向肯定预查类拟,只是方向相反。例如,「(?<=95|98|NT|2000)Windows 」能匹配「2000Windows 」中的「Windows 」,但不能匹配「3.1Windows 」中的「Windows 」。 |
(?<!pattern) | 反向否定预查,与正向否定预查类拟,只是方向相反。例如「(?<!95|98|NT|2000)Windows 」能匹配「3.1Windows 」中的「Windows 」,但不能匹配「2000Windows 」中的「Windows 」。 |
x|y | 匹配x或y。例如,「z|food 」能匹配「z 」或「food 」。「(z|f)ood 」则匹配「zood 」或「food 」。 |
[xyz] | 字符集合。匹配所包含的任意一个字符。例如,「[abc] 」可以匹配「plain 」中的「a 」。 |
[^xyz] | 负值字符集合。匹配未包含的任意字符。例如,「[^abc] 」可以匹配「plain 」中的「p 」。 |
[a-z] | 字符范围。匹配指定范围内的任意字符。例如,「[a-z] 」可以匹配「a 」到「z 」范围内的任意小写字母字符。 |
[^a-z] | 负值字符范围。匹配任何不在指定范围内的任意字符。例如,「[^a-z] 」可以匹配任何不在「a 」到「z 」范围内的任意字符。 |
\b | 匹配一个单词边界,也就是指单词和空格间的位置。例如,「er\b 」可以匹配「never 」中的「er 」,但不能匹配「verb 」中的「er 」。 |
\B | 匹配非单词边界。「er\B 」能匹配「verb 」中的「er 」,但不能匹配「never 」中的「er 」。 |
\cx | 匹配由x指明的控制字符。例如,\cM匹配一个Control-M或回车符。x的值必须为A-Z或a-z之一。否则,将c视为一个原义的「c 」字符。 |
\d | 匹配一个数字字符。等价于[0-9]。 |
\D | 匹配一个非数字字符。等价于[^0-9]。 |
\f | 匹配一个换页符。等价于\x0c和\cL。 |
\n | 匹配一个换行符。等价于\x0a和\cJ。 |
\r | 匹配一个回车符。等价于\x0d和\cM。 |
\s | 匹配任何空白字符,包括空格、制表符、换页符等等。等价于[ \f\n\r\t\v]。 |
\S | 匹配任何非空白字符。等价于[^ \f\n\r\t\v]。 |
\t | 匹配一个制表符。等价于\x09和\cI。 |
\v | 匹配一个垂直制表符。等价于\x0b和\cK。 |
\w | 匹配包括下划线的任何单词字符。等价于「[A-Za-z0-9_] 」。 |
\W | 匹配任何非单词字符。等价于「[^A-Za-z0-9_] 」。 |
\xn | 匹配n ,其中n 为十六进制转义值。十六进制转义值必须为确定的两个数字长。例如,「\x41 」匹配「A 」。「\x041 」则等价于「\x04&1 」。正則表达式中可以使用ASCII编码。. |
\num | 匹配num ,其中num 是一个正整数。对所获取的匹配的引用。例如,「(.)\1 」匹配两个连续的相同字符。 |
\n | 标识一个八进制转义值或一个向后引用。如果\n 之前至少n 个获取的子表达式,则n 为向后引用。否则,如果n 为八进制数字(0-7),则n 为一个八进制转义值。 |
\nm | 标识一个八进制转义值或一个向后引用。如果\nm 之前至少有nm 个获得子表达式,则nm 为向后引用。如果\nm 之前至少有n 个获取,则n 为一个后跟文字m 的向后引用。如果前面的条件都不满足,若n 和m 均为八进制数字(0-7),则\nm 将匹配八进制转义值nm 。 |
\nml | 如果n 为八进制数字(0-3),且m和l 均为八进制数字(0-7),则匹配八进制转义值nm l。 |
\un | 匹配n ,其中n 是一个用四个十六进制数字表示的Unicode字符。例如,\u00A9匹配版权符号(©)。 |