正则表达式

一个正则表达式就是由普通字符（例如字符 a 到 z）以及特殊字符（称为元字符）组成的文字模式。该模式描述在查找文字主体时待匹配的一个或多个字符串。正则表达式作为一个模板，将某个字符模式与所搜索 的字符串进行匹配。如：

JScript	VBScript	匹配
/^/[ /t]*$/	"^/[ /t]*$"	匹配一个空白行。
//d{2}-/d{5}/	"/d{2}-/d{5}"	验证一个ID 号码是否由一个2位数字，一个连字符以及一个5位数字组成。
/<(.*)>.*<///1>/	"<(.*)>.*<///1>"	匹配一个 HTML 标记。

下表是元字符及其在正则表达式上下文中的行为的一个完整列表：

字符	描述
/	将下一个字符标记为一个特殊字符、或一个原义字符、或一个 向后引用、或一个八进制转义符。例如，'n' 匹配字符 "n"。'/n' 匹配一个换行符。序列 '//' 匹配 "/" 而 "/(" 则匹配 "("。
^	匹配输入字符串的开始位置。如果设置了 RegExp 对象的 Multiline 属性，^ 也匹配 '/n' 或 '/r' 之后的位置。
$	匹配输入字符串的结束位置。如果设置了RegExp 对象的 Multiline 属性，$ 也匹配 '/n' 或 '/r' 之前的位置。
*	匹配前面的子表达式零次或多次。例如，zo* 能匹配 "z" 以及 "zoo"。* 等价于{0,}。
+	匹配前面的子表达式一次或多次。例如，'zo+' 能匹配 "zo" 以及 "zoo"，但不能匹配 "z"。+ 等价于 {1,}。
?	匹配前面的子表达式零次或一次。例如，"do(es)?" 可以匹配 "do" 或 "does" 中的"do" 。? 等价于 {0,1}。
{n }	n 是一个非负整数。匹配确定的 n 次。例如，'o{2}' 不能匹配 "Bob" 中的 'o'，但是能匹配 "food" 中的两个 o。
{n ,}	n 是一个非负整数。至少匹配n 次。例如，'o{2,}' 不能匹配 "Bob" 中的 'o'，但能匹配 "foooood" 中的所有 o。'o{1,}' 等价于 'o+'。'o{0,}' 则等价于 'o*'。
{n ,m }	m 和 n 均为非负整数，其中n <= m 。最少匹配 n 次且最多匹配 m 次。例如，"o{1,3}" 将匹配 "fooooood" 中的前三个 o。'o{0,1}' 等价于 'o?'。请注意在逗号和两个数之间不能有空格。
?	当该字符紧跟在任何一个其他限制符 (*, +, ?, {n }, {n ,}, {n ,m }) 后面时，匹配模式是非贪婪的。非贪婪模式尽可能少的匹配所搜索的字符串，而默认的贪婪模式则尽可能多的匹配所搜索的字符串。例如，对于字符串 "oooo"，'o+?' 将匹配单个 "o"，而 'o+' 将匹配所有 'o'。
.	匹配除 "/n" 之外的任何单个字符。要匹配包括 '/n' 在内的任何字符，请使用象 '[./n]' 的模式。
(pattern )	匹配 pattern 并获取这一匹配。所获取的匹配可以从产生的 Matches 集合得到，在VBScript 中使用 SubMatches 集合，在JScript 中则使用 $0 …$9 属性。要匹配圆括号字符，请使用 '/(' 或 '/)'。
(?:pattern )	匹配 pattern 但不获取匹配结果，也就是说这是一个非获取匹配，不进行存储供以后使用。这在使用 "或" 字符 (|) 来组合一个模式的各个部分是很有用。例如， 'industr(?:y|ies) 就是一个比 'industry|industries' 更简略的表达式。
(?=pattern )	正向预查，在任何匹配 pattern 的字符串开始处匹配查找字符串。这是一个非获取匹配，也就是说，该匹配不需要获取供以后使用。例如，'Windows (?=95|98|NT|2000)' 能匹配 "Windows 2000" 中的 "Windows" ，但不能匹配 "Windows 3.1" 中的 "Windows"。预查不消耗字符，也就是说，在一个匹配发生后，在最后一次匹配之后立即开始下一次匹配的搜索，而不是从包含预查的字符之后开始。
(?!pattern )	负向预查，在任何不匹配 pattern 的字符串开始处匹配查找字符串。这是一个非获取匹配，也就是说，该匹配不需要获取供以后使用。例如'Windows (?!95|98|NT|2000)' 能匹配 "Windows 3.1" 中的 "Windows"，但不能匹配 "Windows 2000" 中的 "Windows"。预查不消耗字符，也就是说，在一个匹配发生后，在最后一次匹配之后立即开始下一次匹配的搜索，而不是从包含预查的字符之后开始
x |y	匹配 x 或 y 。例如，'z|food' 能匹配 "z" 或 "food"。'(z|f)ood' 则匹配 "zood" 或 "food"。
[xyz ]	字符集合。匹配所包含的任意一个字符。例如， '[abc]' 可以匹配 "plain" 中的 'a'。
[^xyz ]	负值字符集合。匹配未包含的任意字符。例如， '[^abc]' 可以匹配 "plain" 中的'p'。
[a-z ]	字符范围。匹配指定范围内的任意字符。例如，'[a-z]' 可以匹配 'a' 到 'z' 范围内的任意小写字母字符。
[^a-z ]	负值字符范围。匹配任何不在指定范围内的任意字符。例如，'[^a-z]' 可以匹配任何不在 'a' 到 'z' 范围内的任意字符。
/b	匹配一个单词边界，也就是指单词和空格间的位置。例如， 'er/b' 可以匹配"never" 中的 'er'，但不能匹配 "verb" 中的 'er'。
/B	匹配非单词边界。'er/B' 能匹配 "verb" 中的 'er'，但不能匹配 "never" 中的 'er'。
/cx	匹配由 x 指明的控制字符。例如， /cM 匹配一个 Control-M 或回车符。x 的值必须为 A-Z 或 a-z 之一。否则，将 c 视为一个原义的 'c' 字符。
/d	匹配一个数字字符。等价于 [0-9]。
/D	匹配一个非数字字符。等价于 [^0-9]。
/f	匹配一个换页符。等价于 /x0c 和 /cL。
/n	匹配一个换行符。等价于 /x0a 和 /cJ。
/r	匹配一个回车符。等价于 /x0d 和 /cM。
/s	匹配任何空白字符，包括空格、制表符、换页符等等。等价于 [ /f/n/r/t/v]。
/S	匹配任何非空白字符。等价于 [^ /f/n/r/t/v]。
/t	匹配一个制表符。等价于 /x09 和 /cI。
/v	匹配一个垂直制表符。等价于 /x0b 和 /cK。
/w	匹配包括下划线的任何单词字符。等价于'[A-Za-z0-9_]'。
/W	匹配任何非单词字符。等价于 '[^A-Za-z0-9_]'。
/xn	匹配 n ，其中 n 为十六进制转义值。十六进制转义值必须为确定的两个数字长。例如，'/x41' 匹配 "A"。'/x041' 则等价于 '/x04' & "1"。正则表达式中可以使用 ASCII 编码。.
/num	匹配 num ，其中 num 是一个正整数。对所获取的匹配的引用。例如，'(.)/1' 匹配两个连续的相同字符。
/n	标识一个八进制转义值或一个向后引用。如果 /n 之前至少 n 个获取的子表达式，则 n 为向后引用。否则，如果 n 为八进制数字 (0-7)，则 n 为一个八进制转义值。
/nm	标识一个八进制转义值或一个向后引用。如果 /nm 之前至少有 nm 个获得子表达式，则 nm 为向后引用。如果 /nm 之前至少有 n 个获取，则 n 为一个后跟文字 m 的向后引用。如果前面的条件都不满足，若 n 和 m 均为八进制数字 (0-7)，则 /nm 将匹配八进制转义值 nm 。
/nml	如果 n 为八进制数字 (0-3)，且 m 和 l 均为八进制数字 (0-7)，则匹配八进制转义值 nml。
/un	匹配 n ，其中 n 是一个用四个十六进制数字表示的 Unicode 字符。例如， /u00A9 匹配版权符号 (©)。

下面看几个例子：
"^The"：表示所有以"The"开始的字符串（"There"，"The cat"等）；
"of despair$"：表示所以以"of despair"结尾的字符串；
"^abc$"：表示开始和结尾都是"abc"的字符串——呵呵，只有"abc"自己了；
"notice"：表示任何包含"notice"的字符串。

'*'，'+'和'?'这三个符号，表示一个或一序列字符重复出现的次数。它们分别表示“没有或
更多”，“一次或更多”还有“没有或一次”。下面是几个例子：

"ab*"：表示一个字符串有一个a后面跟着零个或若干个b。（"a", "ab", "abbb",……）；
"ab+"：表示一个字符串有一个a后面跟着至少一个b或者更多；
"ab?"：表示一个字符串有一个a后面跟着零个或者一个b；
"a?b+$"：表示在字符串的末尾有零个或一个a跟着一个或几个b。

也可以使用范围，用大括号括起，用以表示重复次数的范围。

"ab{2}"：表示一个字符串有一个a跟着2个b（"abb"）；
"ab{2,}"：表示一个字符串有一个a跟着至少2个b；
"ab{3,5}"：表示一个字符串有一个a跟着3到5个b。

请注意，你必须指定范围的下限（如："{0,2}"而不是"{,2}"）。还有，你可能注意到了，'*'，'+'和
'?'相当于"{0,}"，"{1,}"和"{0,1}"。
还有一个'¦'，表示“或”操作：

"hi¦hello"：表示一个字符串里有"hi"或者"hello"；
"(b¦cd)ef"：表示"bef"或"cdef"；
"(a¦b)*c"：表示一串"a""b"混合的字符串后面跟一个"c"；

'.'可以替代任何字符：

"a.[0-9]"：表示一个字符串有一个"a"后面跟着一个任意字符和一个数字；
"^.{3}$"：表示有任意三个字符的字符串（长度为3个字符）；

方括号表示某些字符允许在一个字符串中的某一特定位置出现：

"[ab]"：表示一个字符串有一个"a"或"b"（相当于"a¦b"）；
"[a-d]"：表示一个字符串包含小写的'a'到'd'中的一个（相当于"a¦b¦c¦d"或者"[abcd]"）；
"^[a-zA-Z]"：表示一个以字母开头的字符串；
"[0-9]%"：表示一个百分号前有一位的数字；
",[a-zA-Z0-9]$"：表示一个字符串以一个逗号后面跟着一个字母或数字结束。

你也可以在方括号里用'^'表示不希望出现的字符，'^'应在方括号里的第一位。（如："%[^a-zA-Z]%"表
示两个百分号中不应该出现字母）。

为了逐字表达，必须在"^.$()¦*+?{/"这些字符前加上转移字符'/'。

请注意在方括号中，不需要转义字符。

 

你觉得自己的正则表达式足够精通了么，当遇上实际问题的时候，能很熟练的解决问题么，即使解决问题了，解决问题的方法足够漂亮么，效率够高么。
我这段时间正在学习和内容抽取方面的东东，当然少不了大量和正则表达式打交道了，刚开始的时候还以为自己以前用过不少正则表达式，用起来应该能得心应手， 可是面对一些奇怪而特殊的要求时，写起来就特别的别扭，才发现自己那三脚猫功夫根本不够用了。正好在公司的书架上翻到了 这本 《精通正则表达式 第三版》，由Friedl,J.E.F. 著作，余晟译著。信手翻阅之后，立即深深的被它吸引了。这本书绝对不是那种只能让你入门，让你只懂得怎么用却不懂得原理的书。这本书详细的讲解了正则表达 式实现的原理，NFA引擎和DFA引擎的区别，更难能可贵的是，书中全面而详细的讲解了正则表达式的各种知识点，读过之余，绝对让你重新认识正则表达式！
嘿嘿，现在这书被我“据为己有”啦，每天课余有时间都要好好翻阅...

嗯啊，要是觉得自己的正则表达式很牛了，麻烦再看看一下的这堆代码，对你肯定会有帮助的，这些代码可是出自余晟老师之手的哦，

IMG_LINK_RE = re.compile('(?is)(?:<img[^>]*?//ssrc//s*=//s*['/"]?)([^'/"//s>]+)(?:[^>]*>)')
RELATIVE_LINK_RE = re.compile('(?i)(?:href|src)/s*=/s*[/'"]?(?!http:)(?!mailto:)(?!javascript)(?:/[^/'"/s]+|[^/'"/s./]+/[^/'"/s]*|[^/'"/s./]+?.[^/'"/s./]+)(?=[/'"/s])')
RELATIVE_SUB_RE = re.compile('(?i)(?<=[/'"=/s])(?=[0-9a-z.])')
TITLE_RE = re.compile('(?i)(?<=<title>)[^<]+')
EMAIL_RE = re.compile('(?i)[a-z0-9][-a-z0-9._]*@(?:/w[-/w]+/.)+[a-z]{2,4}')
HTML_ENTITY_RE = re.compile('(&#(//d{5});)')
LINE_RE = re.compile('(?is)<tr.*?</tr>')
SPACE_RE = re.compile(r'(?is)(<br/s*/?>|</?p>|(?<=/n)/s*)')
CONTENT_SUB_RE = re.compile(r"(?i)(<[^>]+>|&[0-9a-z]{3,5};|<(?:no)?script.*?</(?:no)?script>)")
HYPERLINK_RE = re.compile('(?i)(?<=href)(/s*=/s*[/'"]?)(?!mailto:)([^/'"/s]+)')
EMPTY_ELEMENT_RE = re.compile('(?is)<([^/s>]+)[^/>]*>[/s/r/n]*(</?/s*br>)*<///1/s*>')
LINEFEED_RE = re.compile(r'(?is)(?<=/n)/s*')
RELATIVE_RE = re.compile('(?<=[/'"/s])(?=/)')
ENCODE_RE = re.compile('(?i)(?<=content=["/']text/html; charset=)[^/'"]+')
SCRIPT_RE = re.compile('(?is)<(?:no)?script.*?</(?:no)?script>')

嘿嘿，还是上点读书笔记吧..
简单的正则入门就不写啦，需要的话看我以前的笔记吧，正则表达式基础 http://hi.baidu.com/ismayday/blog/item/7f5b86942741d11dd21b708f.html ，

环视（look-around）

环视是很有意思的功能，它用来检查两端的字符，但不会把检查时匹配的字符加入匹配的最终结果。
例如，表达式『/bJeff/b』只能匹配“Jeff”这个单词，如果我们需要精确匹配“Jeffrey”这个单词中的“Jeff”，就可以使用环视 『Jeff(?=rey)』，后面的『(?=rey)』表示，如果匹配成功，“Jeff”之后必须出现“rey”。有的读者可能会说，那我直接使用 『(Jeff)rey』，先找出来，再提取分组，不是一样吗？请注意，环视的对象又可以是正则表达式，『Jeff(?=(rey|erson))』就可以 找到“Jeffrey”或“Jefferson”中的“Jeff”，这种灵活性是前一种做法无法提供的，而且，『(Jeff)rey』使用括号来捕获文 本，效率有所降低。
按照环视的方向不同，可以分为顺序环视（lookahead，表示从左向右检查）和逆序环视（lookbehind，从右向左检查）；按照环视成立的条件 不同，又可分为肯定环视（positive lookaround，只有在环视对象能匹配时才成功）和否定环视（negative lookaround，只有在环视对象无法匹配时才成功）。两者组合起来，就得到四种环视：

* 肯定顺序环视
* 肯定逆序环视
* 否定顺序环视
* 否定逆序环视

所使用的标记也很好识别，『(?=Regex)』表示肯定顺序环视，『(?!Regex)』表示否定顺序环视，『(?<=Regex)』表示肯定逆 序环视，『(?<!Regex)』表示否定逆序环视。

在日常的HTML解析中，如果我们需要精确获得“src=...”中的资源地址（这里假定“src=...”的格式统一规范，等号两端没有空格，也没有引 号），可以在表达式之前添加『(?<=).*?(?=< /B>)』来精确匹配“...”之中的内容。在这两个例子中，当然也可以使用匹配-括号提取的办法，但使用环视的效率更高，也更切合程序的本意。
环视还可以多个连用，我曾遇到过这样的情形：有站点siteA.com，需要在Apache的配置文件中设定重定向规则，以一个正则表达式匹配除 sub1, sub23之外的所有子域名（注意，是匹配所有子域名），首先我想到的是
『^[^.]*(?<!--b(1|23)).siteA.com$』
但这行不通，因为多数系统都不容许在逆序环视中使用变长表达式（只有.NET容许），所以必须连用多个逆序环视
『^[^.]*(?<!--ub1)(?<!^sub23).siteA.com$』


固化分组（Atomic-grouping）

回溯（back-tracking）是匹配过程中常见的现象，如果用『.*ab』来匹配“123456ab”，『.*』首先会匹配整个字符串，之后轮到 『ab』，『.*』需要“依次释放”之前匹配的两个字符，供『ab』匹配，整个表达式才能匹配成功。这样“依次释放”的过程，就叫做回溯。但有时回溯完全 是徒劳的，例如我们用『/w+:』来匹配“Subject”。因为字符串中不存在冒号，匹配肯定会失败，但引擎仍然必须依次回溯，最终得出失败的结果，而 我们知道，『/w』“释放”的字符，:肯定无法匹配。此时可以使用固化分组，将『/w+』匹配的内容“固定”下来，禁止回溯：
『(?>/w+):』
这样报告匹配失败的速度就提高了许多倍，如果字符串很长，使用固化分组就能节省大量的时间。
固化分组的另一个用途是精确控制匹配，防止不期望的匹配。例如，表达式『<(/w+).*?』，本意是匹配对称的tag之间的文本，但它会错误地匹 配“ …”。如果使用固化分组『<((?>/w+)).*?』，就能解决这个问题。


模式修饰符（mode-modifier）

模式（mode)表示正则表达式在匹配时所采取的规则，模式修饰符用来设定模式。
最常见的模式是Case-Insensitive Mode（简写为i），它表示“不区分大小写”。在默认情况下，CAT只能匹配单词CAT，如果采用不区分大小写的匹配模式，则『CAT』可以匹配 “Cat”， “CAT”，“cat”等任意形式的“cat”。
另一个常用的模式是Dot-match-all Mode（简写为s），它表示“点号通配”。在默认情况下，点号是不能匹配换行符的，此时，如果用『.*?』匹配一个 IMG tag，而这个tag的内容又跨越了两行，那么匹配是不会成功的。但如果使用“点号通配”模式，则点号可以匹配换行符，整个tag得以匹配。
还有个常见的模式是Free-spacing and Comment Mode（简写为x），它表示忽略正则表达式中的空白字符（必须使用『/s』来表示空白字符，同时容许在正则表达式中加入注释）。
最后介绍的模式是Multi-line Mode（多行模式，简写为m），又叫Enhanced Line-anchor Mode（增强的行锚点模式），在默认情况下，『^』和『$』只能匹配字符串的开头和结尾，但在此模式下，『^』和『$』可以匹配字符串当中的行开头/行 结束，如果我们需要在包括多行文本的字符串中精确查找满足某条件的一行文本，就可以启用此模式，并使用『^』和『$』精确定位文本的两端。
模式修饰符通常以flag（标志位）的形式指定，

例如在Java中使用
Pattern.compile("CAT", PATTERN.CASE_INSENSITIVE)

在Python中使用
re.compile("CAT", re.IGNORECASE)
如果需要同时使用多个模式修饰符，可以以逻辑运算符“AND”来连接
Pattern.compile("C(?#comment1)A(?#comment2)T", PATTERN.CASE_INSENSITIVE|PATTERN.COMMENTS)。


模式作用范围（mode-modified-span)

这是与模式修饰符对应的概念。通常，我们需要显式地设定标志位，指定匹配模式，但此时模式是对整个表达式起作用的，无法进行更细的限制。而模式修饰范围则 可以精确限定各元素的匹配模式，解决此类问题。
不妨考虑这样的情况，一个正则匹配函数，接收两个参数，第一个参数为Tag的名字，第二个参数为匹配Tag内容中内容的表达式，而且，Tag名可以不分大 小写，但内容匹配必须区分大小写。如果我们用一个匹配模式统摄整个表达式，必然无法完成要求，此时必须使用模式修饰范围，限定各个元素所使用的匹配模式。 以Java为例，如果第一个参数为tagNameRegex，第二个参数为tagContentRegex，那么我们可以这样：

Pattern.compile("(?i)<" + tagNameRegex + ">" + ">(?-i)" + tagContentRegex + "(?i)</"＋tagNameRegex + ">" + ">(?-i)")

如果传入的tagNameRegex是“td”，tagContentRegex是“/d{4}[a-z]3/d{3}”，则编译所用的表达式就是 『(?i)<td>(?-i)/d{4}[a-z]3/d{3}(?i)</td>(?-i)』
其中，我们在“<td>”和“</td>”两端分别以『(?i)』和『(?-i)』来开启/关闭不区分大小写的匹配模式，精确限 定了此匹配模式的作用范围，而内部的tagContentRegex则不受影响，仍采用默认的匹配模式，如此，这个表达式能匹 配<Td>4444azz333<tD>，但不能匹配<td>4444AZZ333</td>，这正是 我们需要的。
即使整个表达式采用同一种匹配模式，我们也可以使用模式修饰范围，例如『(?i)CAT』就表示，对整个表达式『CAT』进行不区分大小写的匹配。