[转]正则表达式快速入门

 教程精选：正则表达式快速入门
作者： 开心石头
出处： 天极网
责任编辑： wenwu
[ 2005-12-02 11:06 ]
【导读】正则表达式是从左向右去匹配目标字符串的一组模式。大多数字符在模式中表示它们自身并匹配目标中相应的字符
正则表达式广泛出现在UNIX/Linux相关的各种领域和多种编程语言里。从常见的shell命令到大名鼎鼎的Perl语言再到当前非常流行的PHP，它都扮演着一个重要的角色。甚至windows的命令行控制台也支持正则表达式。如果你是一个Linux服务器管理员，你经常会在一些服务器的设置脚本里看到它。
可以说，它是学好Linux/UNIX必需掌握的一个知识点，否则你连Linux的启动脚本都读不懂。偏偏它又的确有点晦涩难懂，而且相关的资料又大部分是英文，更为它的学习增加了几多困难。即使有些中文的翻译资料，不同的译者对一些术语的译法也五花八门，读着让人平添困惑。为此，我决定为它写一个简明教程，尽量可以覆盖正则表达式涉及到的各主要概念。
我并不想把本文写成一本详细的正则表达式语法手册，事实上，这些手册已经存在了，不过读起来比较难懂。我希望的是在完成本教程后，你可以比较轻松的读懂各种工具的正则表达式语法手册并可以迅速上手，不过要用好正则表达式，可不是一篇短短的教程可以解决的，那是无数实践练习的结果。但是，本文的最后一部分对于正则表达式的编写提出了一些原则性的建议，学习一下这些正则表达式应用先驱者的经验会让我们在今后的实践中少走一些弯路。
正则表达式是英文“regular expressions”的译文，它的产生据说可以追溯到“神经网络”等比较高深的理论。那么什么是正则表达式呢?
正则表达式是从左向右去匹配目标字符串的一组模式。大多数字符在模式中表示它们自身并匹配目标中相应的字符。举个最简单的例子，模式“The quick brown fox”匹配了目标字符串中与其完全相同的一部分。
前面已经提过，正则表达式被许多植根于UNIX/Linux的工具采用，可是这些工具的正则表达式语法并不完全相同，它们中的一些对正则表达式语法的扩展并不被其它工具识别，这也为正则表达式的使用增加了难度。因此，当你在一个具体的环境中使用正则表达式时，你还要先看一下目标环境支持的语法范围，以确保你的正则表达式被正确的解析。
在本文中列举的例子里，我们用正斜线“/”做为模式的定界符(delimiter)，一个模式用下面这种格式表示:
/[A-Z]+(abc|xyz)*/I

本文将较详细的阐明下面这些正则表达式概念：模式修正符（modifier），元字符（Meta-characters），子模式（subpatterns）与逆向引用（Back references），重复（Repetition）和量词（quantifiers），断言（Assertions），注释，正则表达式中的递归，最后我介绍一款方便学习正则表达式的工具并介绍一些正则表达式编写的思路。
正则表达式的模式修正符(modifier)
正则表达式的模式修正符主要用来限定模式与目标字符串的匹配方式，例如是否需要大小写敏感的匹配，是单行模式还是多行模式。修正符中的空格和换行被忽略，其它字符会导致错误。下面列举一些常见的模式修正符。注意，模式修正符是区分大小写的。
i:非大小写敏感模式，:如果设定此修正符，模式中的字符将同时匹配大小写字母。
m:多行模式，当设定了此修正符，“行起始”和“行结束”除了匹配整个字符串开头和结束外，还分别匹配其中的换行符的之后和之前。
s:单行模式，如果设定了此修正符，模式中的圆点元字符(.)匹配所有的字符，包括换行符。没有此设定的话，则不包括换行符。
对于多行模式和单行模式，一个容易让初学者迷惑的地方是这两者并不向字面上那样是互斥的。事实上，它们只是分别定义了英文句点(.)、音调符(^)和美元符($)这三个元字符的匹配方式，因此，单行模式与多行模式的修正符可以同时使用。
x:如果设定了此修正符，模式中的空白字符除了被转义的或在字符类中的以外完全被忽略，在未转义的字符类之外的 # 以及下一个换行符之间的所有字符，包括两头，也都被忽略。它使得可以在复杂的模式中加入注释。我们会在后面的部分更详细的讲解正则表达中的注释。
模式修正符还有很多，这里不再一一列举。我们会结合后面的内容介绍一些其它的模式修正符。不同的工具也可以添加自己的模式修正符，不过上面几最为常见。
模式修正符通常跟在模式定义结束符的后面，例如下面例子中模式最后的“i”字符。/[A-Z]+(abc|xyz)*/i，这时此修正符会对整个匹配模式起作用。模式修正符也可以在模式内部通过包含在 "(?" 和 ")" 之间的修正符字母序列来实现。例如，(?im) 设定了不区分大小写，多行模式。也可以通过在字母前加上减号来取消这些选项。例如组合的选项 (?im-s)，设定了不区分大小写和多行模式，并取消了单行模式。如果一个字母在减号之前与之后都出现了，则该选项被取消设定。
注意，如果(?im-s)出现在一个子模式内(被另一对小括号包含)会把模式修正符的作用局限在该子模式中。
正则表达式的元字符（Meta-characters）
正则表达式的威力在于其能够在模式中包含选择和循环。它们通过使用元字符来编码在模式中，元字符不代表其自身，它们用一些特殊的方式来解析。
有两组不同的元字符:一种是模式中除了方括号内都能被识别的，还有一种是在方括号内被识别的。如果想在模式里包含一个元字符本身，就需要用到转义符号，正则表达式常用反斜线“/”作为转义字符使用，为了匹配“/”本身，你需要输入两个“/”，向这样“//”。当然，这个符号本身也是一个元字符。
方括号之外的元字符有这些:
有数种用途的通用转义符
^
断言目标的开头(或在多行模式下行的开头，即紧随一换行符之后)
$
断言目标的结尾(或在多行模式下行的结尾，即紧随一换行符之前)
.
匹配除了换行符外的任意一个字符(默认情况下)
[
字符类定义开始
]
字符类定义结束
|
开始一个多选一的分支
(
子模式开始
)
子模式结束
?
扩展 ( 的含义，我们已经在介绍模式修正符里看到过它的使用。它也可以是 0 或 1 数量限定符，以及数量限定符最小值
*
匹配 0 个或多个的数量限定符
+
匹配 1 个或多个的数量限定符
{
最少/最多数量限定开始
}
最少/最多数量限定结束
模式中方括号内的部分称为“字符类”。字符类中可用的元字符为:
通用转义字符
^
排除字符类，但仅当其为第一个字符时有效
-
指出字符范围
在这里，最值得一提是“/”这个元字符。之所以重点对它进行讲解是因为这一个元字符有多种不同的用法，在不同情况下代表不同的含义，而且使用频率非常高，是个很容易让人迷惑的地方。
第一种用法前面我们已经提过，是作为通用转义字符使用，如果其后跟着一个非字母数字字符，则取消该字符可能具有的任何特殊含义。此种将反斜线用作转义字符的用法适用于无论是字符类之中还是之外。例如“//”代表一个单独的反斜线“/”。
第二种用途提供了一种在模式中以可见方式去编码不可打印字符的方法。模式中完全可以包括不可打印字符，除了代表模式结束的二进制零，例如，可以用“/a”代表alarm，即 BEL 字符(0x07)，或用“/cx”代表"control-x"，其中 x 是任意字符。当然，这种方法表示的不一定非得是不可打印字符，实际上，可以用“/xhh(十六进制代码为 hh 的字符)”和“/ddd(八进制代码为 ddd 的字符)”来以编码的形式表达任何单字节字符，例如“/040”可以用来表示空格。
反斜线的第三个用法是指定通用字符类型，这些字符类型序列可以出现在字符类之中和之外。每一个匹配相应类型中的一个字符。如果当前匹配点在目标字符串的结尾，以上所有匹配都失败，因为没有字符可供匹配。有以下这些常见的通用字符类:
/d 任一十进制数字
/D任一非十进制数的字符
/s任一空白字符
/S任一非空白字符
/w任一“字”的字符
/W任一“非字”的字符
反斜线的第四个用法是某些简单的断言，关于断言的讨论我们放在后面，这里先不加讨论。
反斜线的最后一个用法是逆向引用。关于逆向引用，我们会在后面讨论逆向引用的部分来做进一步的讨论。
我们已经看到，反斜线的众多用法，其中一些涉及到了以后才讲的内容。我们在模式中遇到反斜线时一定要注意它具体是哪一种用途以免疑惑。
另外两个方括号也是非常重要的元字符，左方括号开始了一个字符类，右方括号结束之。单独一个右方括号不是特殊字符。字符类匹配目标中的一个字符，该字符必须是字符类定义的字符集中的一个;除非字符类中的第一个字符是音调符(^)，此情况下目标字符必须不在字符类定义的字符集中。如果在字符类中需要音调符本身，则其必须不是第一个字符，或用反斜线转义。例如，[^A-Z]表式非大写字符。
其它元字符我们会在以后的文章中结合相关内容介绍。

在上篇文章 < http://biz.chinabyte.com/58/2215558.shtml?42>里，我们介绍了正则表达式的模式修正符与元字符，细心的读者也许会发现，这部分介绍的非常简略，而且很少有实际的例子的讲解。这主要是因为网上现有的正则表达式资料都对这部分都有详细的介绍和众多的例子，如果觉得对前一部分缺乏了解可以参看这些资料。本文希望可以尽可能多涉及一些较高级的正则表达式特性。
在本文里，我们主要介绍子模式(subpatterns)，逆向引用(Back references)和量词(quantifiers)，其中重点介绍对这些概念的一些扩展应用，例如子模式中的非捕获子模式，量词匹配时的greedy与ungreedy。
子模式(subpatterns)与逆向引用(Back references)
正则表达式可以包含多个字模式，子模式由圆括号定界，可以嵌套。这也是两个元字符“(”和“)”的作用。子模式可以有以下作用:
1. 将多选一的分支局部化。
例如，模式: cat(aract|erpillar|)匹配了 "cat"，"cataract" 或 "caterpillar" 之一，没有圆括号的话将匹配 "cataract"，"erpillar" 或空字符串。
2. 将子模式设定为捕获子模式(例如上面这个例子)。当整个模式匹配时，目标字符串中匹配了子模式的部分可以通过逆向引用进行调用。左圆括号从左到右计数(从 1 开始)以取得捕获子模式的数。
注意，子模式是可以嵌套的，例如，如果将字符串 "the red king" 来和模式 /the ((red|white) (king|queen))/进行匹配，捕获的子串为 "red king"，"red" 以及 "king"，并被计为 1，2 和 3 ，可以通过“/1”，“/2”，“/3”来分别引用它们，“/1”包含了“/2”和“/3”，它们的序号是由左括号的顺序决定的。
在一些老的linux/unux工具里，子模式使用的圆括号需要用反斜线转义，向这种/(subpattern/)，但现代的工具已经不需要了，本文中使用的例子都不进行转义。
在上文 < http://biz.chinabyte.com/cbfwq/406/2217406.shtml?42>里，我们介绍了正则表达式的子模式，逆向引用和量词，在这篇文章里，我们将重点介绍正则表达式中的断言(Assertions)。
断言(Assertions)
断言(Assertions)是在目标字符串的当前匹配位置进行的一种测试但这种测试并不占用目标字符串，也即不会移动模式在目标字符串中的当前匹配位置。
读起来似乎有点拗口，我们还是举几个简单的例子。
两个最常见的断言是元字符“^”和“$”，它们检查匹配模式是否出现在行首或行尾。
我们来看这个模式/^/d/d/d$/，试着用它来匹配目标字符串“123”。“/d/d/d”表示三个数字字符，匹配了目标字符串的三个字符，而模式中的^和$分别表示这三个字符同时出现在行首和行尾，而它们本身并不与目标字符串中的任何字符相对应。
其它还有一些简单的断言/b, /B, /A, /Z, /z，它们都以反斜线开头，前面我们已经介绍过反斜线的这个用法。这几个断言的含义如下表。
断言 含义 
/b 字分界线 
/B 非字分界线 
/A 目标的开头（独立于多行模式） 
/Z 目标的结尾或位于结尾的换行符前（独立于多行模式） 
/z 目标的结尾（独立于多行模式） 
/G 目标中的第一个匹配位置 
注意这些断言不能出现在字符类中，如果出现了也是其它的含义，例如/b在字符类中表示反斜线字符0x08。
前面介绍的这些断言的测试都是一些基于当前位置的测试，断言还支持更多复杂的测试条件。更复杂的断言以子模式方式来表示，它包括前向断言(Lookahead assertions)和后向断言(Lookbehind assertions)。
前向断言(Lookahead assertions)
前向断言从目标字符串的当前位置向前测试断言条件是否成立。前向断言又可分为前向肯定断言和前向否定断言，分别用(?=和{?!表示。例如模式/ /w+(?=;)/用来表示一串文本字符后面会有一个分号，但是这个分号并不包括在匹配结果中。一件有趣的事看起来差不多的模式/ (?=;)/w+/并不是表示一串前面不是分号的alpha字符串，事实上，不论这串alpha字符的前面是否是一个分号它总是匹配的，要完成这个功能需要我们下面提到的后向断言(Lookbehind assertions)。
后向断言(Lookbehind assertions)
后向断言分别用(?<=和(?<!表示肯定的后向断言与否定后向断言。例如，/ (?<!foo)bar/将寻找一个前面不是foo的bar字符串。一般而言，后向断言使用的子模式需要有确定的长度值，否则会产生一个编译错误。
使用后向断言与一次性子模式搭配使用可以有效的文本的结束部分进行匹配，这里来看一下例子。
考虑一下如果用/abcd$/这样一个简单的模式来匹配一长段以abcd结尾的文本，因为模式的匹配过程是从左向右进行的，正则表达式引擎将在文本中寻找每一个a字符并尝试匹配剩余的模式，如果在这长段文本里仅好有不少的a字符，这样做明显是非常低效的，而如果把以上模式换成为样/^.*abcd$/，这时前面的“^.*”部分将匹配整个文本，然后它发现下一个模式a无法匹配，这时会发生前面提到过的回溯过程，解析器会逐次缩短“^.*”匹配的字符长度从右向左逐次查找剩余的子模式，也要产生多次的尝试过程。现在，我们用一次性子模式与后向断言重写所用的模式，改为/^(?>.*)(?<=abcd)/，这时，一次性子模式一次匹配了整段文本，然后用后向断言检查前面四个字符是否为abcd，只需要一次检测就可以立刻确定整个模式是否匹配。在遇到需要匹配一个很长的文本时，这种方法可以非常显著的提高处理效率。
一个模式中可以包含多个相继的断言，断言也可以嵌套。另外，断言使用的子模式也是非捕获的，不能被逆向引用。
断言的一个重要应用领域就是做为条件子模式的条件。那什么是条件子模式呢？

在上一篇文章 < http://biz.chinabyte.com/cbfwq/4/2219504.shtml>里，我们介绍了正则表达式中断言相关的一些概念，在本文里，我们会介绍正则表达式中递归的运用与利用正则表达式修改目标字符串。
正则表达式中的递归
接触过程序的朋友可能都遇到过成对的各种括号吧，这些括号常常相互嵌套，而且嵌套的层次数目无法确定。试想一下如果想提取一段程序里用括号括起的一段代码，这里面很可能包含了层次数目不定的其它括号对，用正则表达式该如何完成?
在Perl 5.6之前这的确有点困难，不过从Perl 5.6之后，引入了递归正则表达式，这个问题得到了解决。通常在正则表达式里用“(?R)”表示一个对自己的引用，下面让我们看看用什么正则表达式来解决刚才提出的问题。
//( ( (?>[^()]+) | (?R) )* /)/x 
现在让我们来分析这个模式的含义，这里使用了“x”模式修正符，以便可以在模式中加入空格以方便阅读。
模式的开头是匹配第一个左圆括号，然后我们需要捕获的子模式，注意，字模式后面跟了量词“*”，表示此模式可以重复0到多次。最后是一个结束圆括号。现在我们分析子模式( (?>[^()]+) | (?R) )的内容。这是一个分支子模式，表示模式可以有两种情况，第一种是(?>[^()]+)，这是一个一次性子模式，代表一个以上的非括号字符，另一种情况是| (?R)，也即对正则表达式自己的递归调用--/( ( (?>[^()]+) | (?R) )* /)，又寻找一个左圆括号，开始查找一对嵌套的圆括号包含的内容。
分析到这里，这个正则表达式的含义已经基本清楚，但你注意到没有，这里为什么要使用一次性子模式(?>[^()]+)来查找非括号字符串?
事实上，由于递归的层次是无限的，这种处理非常必要，特别是遇到不匹配的字符串时，它不会让你陷入长时间的等待。考虑一下下面这个目标字符串，
(aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa()
在得出不匹配的最终结果前，如果不使用一次性子模式，解析器将尝试每一种可能的方法来分割目标字符串，这将浪费大量的时间。
在上一篇文章 < http://biz.chinabyte.com/382/2225382.shtml>里，我们介绍了正则表达式中的递归与替换，现在让我们接触一个学习正则表达式时方便测试使用的工具，并介绍一些正则表达式的编写思路。
一个学习正则表达式的便捷工具
学习正则表达式最好的方法当然是实践，不过支持正则表达式的工具虽多，但如果仅仅用来做练习却不是很方便。
这里我向一家推荐一款专门的正则表达式编写测试工具，PHPEdit公司的Regular Expression Editor工具。这是一个免费软件，主要用来调试PHP使用的Perl兼容正则表达式函数。使用它可以方便的输入目标字符串和正则表达式，并实时看到匹配的结果。可以到它的下载网页 < http://www.waterproof.fr/products/RegExpEditor/download.php>去下载这个工具。
程序的界面非常简明，不过使用中发现，它的一些功能使用起来好像有问题，只有preg_match_all和preg_replace功能正常，另外在匹配模式输入框中，不要加模式定界符，程序好像把该输入框中的全部内容都作为模式来解析。
好在做为一个正则表达式的练习工具，它的功能是足够了，下面是它的运行界面。
文中提到的各个例子都可以在里面进行测试，在最上面的框里输入模式，把目标字符串写进中间的输入框，点击“run the regxwp”按钮可以在下面得到匹配结果。