linux 正则 性能,linux 正则表达式深度解析

简介

大体来讲，正则表达式的文法分为3种标准：BRE、ERE 和 ARE。其中 BER 和 ERE 属于 POSIX 标准，ARE 则是由各家定义的扩展。

POSIX 正则表达式

传统上，POSIX 定义了两种正则表达式语法， 即：基本正则表达式(BRE)和扩展正则表

达式(ERE)。

其中， BRE 定义的语法符号包括：

. - 匹配任意一个字符。

[] - 字符集匹配，匹配方括号中定义的字符集之一。

[^] - 字符集否定匹配，匹配没有在方括号中定义的字符。

^ - 匹配开始位置。

$ - 匹配结束位置。

\(\) - 定义子表达式。

\n - 子表达式向前引用，n 为 1-9 之间的数字。 由于此功能已超出正则语义，需

要在字符串中回溯，因此需要使用 NFA 算法进行匹配。

* - 任意次匹配(零次或多次匹配)。

\{m,n\} - 至少 m 次，至多 n 次匹配；\{m\} 表示 m 次精确匹配；\{m,\} 表示至少 m

次匹配。

ERE 修改了 BRE 中的部分语法，并增加了以下语法符号：

? - 最多一次匹配(零次或一次匹配)。

+ - 至少一次匹配(一次或更多次匹配)。

| - 或运算，其左右操作数均可以为一个子表达式。

同时，ERE 取消了子表达式 "()" 和 次数匹配 "{m,n}" 语法符号的转义符引用语法，在

使用这两种语法符号时，不在需要添加转义符。 与此同时， ERE 也取消了非正则语义的

子表达式向前引用能力。

BRE 和 ERE 共享同样的 POSIX 字符类定义。同时，它们还支持字符类比较操作 "[. .]"

和字符来等效体 "[= =]" 操作，但很少被使用。

f / fr / wfr / bwfr 等工具默认使用 ERE 模式，同时支持以下 perl 风格的字符类：

POSIX 类 perl类 描述

----------------------------------------------------------------------------

[:alnum:] 字母和数字

[:alpha:] \a 字母

[:lower:] \l 小写字母

[:upper:] \u 大写字母

[:blank:] 空白字符(空格和制表符)

[:space:] \s 所有空格符(比[:blank:]包含的范围广)

[:cntrl:] 不可打印的控制字符(退格、删除、警铃...)

[:digit:] \d 十进制数字

[:xdigit:] \x 十六进制数字

[:graph:] 可打印的非空白字符

[:print:] \p 可打印字符

[:punct:] 标点符号

- 此外，还有以下特殊字符类：

perl类 等效POSIX表达式 描述

----------------------------------------------------------------------------

\o [0-7] 八进制数字

\O [^0-7] 非八进制数字

\w [[:alnum:]_] 单词构成字符

\W [^[:alnum:]_] 非单词构成字符

\A [^[:alpha:]] 非字母

\L [^[:lower:]] 非小写字母

\U [^[:upper:]] 非大写字母

\S [^[:space:]] 非空格符

\D [^[:digit:]] 非数字

\X [^[:xdigit:]] 非十六进制数字

\P [^[:print:]] 非可打印字符

- 还可以使用以下特殊字符换码序列：

\r - 回车

\n - 换行

\b - 退格

\t - 制表符

\v - 垂直制表符

\" - 双引号

\' - 单引号

高级正则表达式

除了 POSIX BRE 和 ERE 之外，libutilitis 还支持与TCL 8.2兼容的高级正则表达式语

法(ARE)。 通过为 stRegEx 参数增加前缀 "***:" 就可以开启 ARE 模式，这个前缀覆

盖 bExtended 选项。基本上讲，ARE 是 ERE 的超集。 它在 ERE 的基础上进行了如下几

项扩展：

1. 支持"懒惰匹配"(也叫"非贪婪匹配"或"最短匹配")：在 '?', '*', '+' 或 '{m,n}'

后追加 '?' 符号就可以启用最短匹配，使得该正则表达式子句在满足条件的前提下匹

配尽可能少的字符(默认是匹配尽可能多的字符)。例如：将 "a.*b" 作用于 "abab"

时，将匹配整个串("abab")，若使用 "a.*?b"，则将只匹配前两个字符("ab")。

2. 支持子表达式的向前引用匹配：在 stRegEx 中，可以使用 '\n' 向前引用曾经定义的

子表达式。如："(a.*)\1" 可匹配 "abcabc" 等。

3. 无名子表达式：使用 "(?:表达式)" 的方式创建一个无名表达式， 无名表达式不返回

到一个 '\n' 匹配。

4. 向前预判：要命中匹配，必须向前满足指定条件。 向前预判分为肯定预判和否定预判

两种。肯定预判的语法为："(?=表达式)"，例如："bai.*(?=yang)" 匹配 "bai yang"

中的前四个字符("bai ")，但在匹配时保证字符串在 "bai.*" 后必须包含 "yang".

否定判断的语法为："(?!表达式)"， 例如："bai.*(?!yang)" 匹配 "bai shan" 的前

四个字符，但在匹配是保证字符串在 "bai.*" 后不出现 "yang"。

5. 支持模式切换前缀，在 "***:" 之后可以紧跟形如 "(?模式串)" 样式的模式串，模式

串影响其后表达式的语义和行为。模式串可以是一下字符的组合：

b - 切换至 POSIX BRE 模式，覆盖 bExtended 选项。

e - 切换至 POSIX ERE 模式，覆盖 bExtended 选项。

q - 切换至文本字面匹配模式， 表达式中的字符都作为文本进行搜索，取消一切正则

语义。此模式将正则匹配退化为一次简单字符串查找。"***=" 前缀是其快捷表示

方式，意即："***=" 等同于 "***:(?q)"。

c - 执行大小写敏感的匹配，覆盖 bNoCase 选项。

i - 执行忽略大小写的匹配，覆盖 bNoCase 选项。

n - 开启行敏感的匹配：'^' 和 '$' 匹配行首和行尾；'.' 和否定集('[^...]')不

匹配换行符。此功能等同于 'pw' 模式串。覆盖 bNewLine 选项。

m - 等同于 'n'。

p - '^' 和 '$' 只匹配整个字符串的首尾，不匹配行；'.' 和否定集不匹配换行符。

覆盖 bNewLine 选项。

w - '^' 和 '$' 匹配行首和行尾；'.' 和否定集匹配换行符。覆盖 bNewLine 选项。

s - '^' 和 '$' 只匹配整个字符串的首尾，不匹配行；'.' 和否定集匹配换行符。覆

盖 bNewLine 选项。ARE 状态下默认使用此模式。

x - 开启扩展模式：在扩展模式中，将忽略表达式中的空白符和注释符 '#' 后的内容

例如：

@code@

(?x)

\s+ ([[:graph:]]+) # first number

\s+ ([[:graph:]]+) # second number

@code@

等同于 "\s+([[:graph:]]+)\s+([[:graph:]]+)"。

t - 关闭扩展模式，不忽略空白符和注释符后的内容。ARE 状态下默认使用此模式。

6. 与 BRE/ERE 模式不同的 Perl 风格字符类换码序列：

perl类 等效POSIX表达式 描述

----------------------------------------------------------------------------

\a - 响铃字符

\A - 不论当前模式如何，仅匹配整个串的最开头

\b - 退格字符 ('\x08')

\B - 转义字符本身 ('\\')

\cX - 控制符-X (= X & 037)

\d [[:digit:]] 10 进制数字 ('0' - '9')

\D [^[:digit:]] 非数字

\e - 退出符 ('\x1B')

\f - 换页符 ('\x0C')

\m [[:<:>

\M [[:>:]] 单词结束位置

\n - 换行符 ('\x0A')

\r - 回车符 ('\x0D')

\s [[:space:]] 空白符

\S [^[:space:]] 非空白符

\t - 制表符 ('\x09')

\uX - 16 位 UNICODE 字符 (X∈[0000 .. FFFF])

\UX - 32 位 UNICODE 字符 (X∈[00000000 .. FFFFFFFF])

\v - 纵向制表符 ('\x0B')

\w [[:alnum:]_] 组成单词的字符

\W [^[:alnum:]_] 非单词字符

\xX - 8 位字符 (X∈[00 .. FF])

\y - 单词边界(\m 或 \M)

\Y - 非单词边界

\Z - 不论当前模式如何，仅匹配整个串的最尾部

\0 - NULL，空字符

\X - 子表达式向前引用 (X∈[1 .. 9])

\XX - 子表达式向前引用或 8 进制表示的 8 字符

\XXX - 子表达式向前引用或 8 进制表示的 8 字符