正则表达式

第一章：正则表达式

一、修饰符(标记)

修饰符	含义和描述
i	Ignore - 不区分大小写
g	Global - 全局匹配
m	Multi line - 多行匹配。使边界字符 ^ 和 $ 匹配每一行的开头和结尾
s	使`.`中包含 \n

二、定位点和序列（位置和顺序）

字符	含义和描述
\	将下一个字符标记为一个特殊字符、或一个原义字符、或一个 向后引用、或一个八进制转义符。例如，'n' 匹配字符 "n"。'\n' 匹配一个换行符。序列 '\\' 匹配 "\" 而 "\(" 则匹配 "("
^	匹配输入字符串的开始位置
$	匹配输入字符串的结束位置

三、量词(限定符)

字符	含义和描述
*	匹配前面的子表达式零次或多次
+	匹配前面的子表达式一次或多次
?	匹配前面的子表达式零次或一次
{n}	n 是一个非负整数。匹配确定的 n 次
{n,}	n 是一个非负整数。至少匹配n 次
{n,m}	m 和 n 均为非负整数，其中n <= m。最少匹配 n 次且最多匹配 m 次

四、基本元字符

字符	含义和描述
.	匹配除换行符（\n、\r）之外的任何单个字符
x|y	匹配 x 或 y。例如，'z|food' 能匹配 "z" 或 "food"。'(z|f)ood' 则匹配 "zood" 或 "food"
[xyz]	字符集合。匹配所包含的任意一个字符。例如，'[abc]' 可以匹配 "plain" 中的 'a'
[^xyz]	负值字符集合。匹配未包含的任意字符。例如，'[^abc]' 可以匹配 "plain" 中的'p'、'l'、'i'、'n'
[a-z]	字符范围。匹配指定范围内的任意字符。例如，'[a-z]' 可以匹配 'a' 到 'z' 范围内的任意小写字母字符
[^a-z]	负值字符范围。匹配任何不在指定范围内的任意字符。例如，'[^a-z]' 可以匹配任何不在 'a' 到 'z' 范围内的任意字符
\d	匹配一个数字字符。等价于 [0-9]
\D	匹配一个非数字字符。等价于 [^0-9]
\f	匹配一个换页符。等价于 \x0c 和 \cL
\n	匹配一个换行符。等价于 \x0a 和 \cJ
\r	匹配一个回车符。等价于 \x0d 和 \cM
\s	匹配任何空白字符，包括空格、制表符、换页符等等。等价于 [ \f\n\r\t\v]
\S	匹配任何非空白字符。等价于 [^ \f\n\r\t\v]
\t	匹配一个制表符。等价于 \x09 和 \cI
\v	匹配一个垂直制表符。等价于 \x0b 和 \cK
\w	匹配字母、数字、下划线。等价于 [A-Za-z0-9_]
\W	匹配非字母、数字、下划线。等价于 [^A-Za-z0-9_]

五、特殊字符

字符	含义
\b	匹配一个单词边界，也就是指单词和空格间的位置
\B	匹配非单词边界
\cx	匹配由 x 指明的控制字符
\xn	匹配 n，其中 n 为十六进制转义值。十六进制转义值必须为确定的两个数字长
\num	匹配 num，其中 num 是一个正整数。对所获取的匹配的引用
\n	标识一个八进制转义值或一个向后引用。如果 \n 之前至少 n 个获取的子表达式，则 n 为向后引用。否则，如果 n 为八进制数字 (0-7)，则 n 为一个八进制转义值。
\nm	标识一个八进制转义值或一个向后引用。如果 \nm 之前至少有 nm 个获得子表达式，则 nm 为向后引用。如果 \nm 之前至少有 n 个获取，则 n 为一个后跟文字 m 的向后引用。如果前面的条件都不满足，若 n 和 m 均为八进制数字 (0-7)，则 \nm 将匹配八进制转义值 nm。
\nml	如果 n 为八进制数字 (0-3)，且 m 和 l 均为八进制数字 (0-7)，则匹配八进制转义值 nml。
\un	匹配 n，其中 n 是一个用四个十六进制数字表示的 Unicode 字符。例如， \u00A9 匹配版权符号 (?)。

六、特殊使用

字符	含义和描述
(pattern)	匹配 pattern 并获取这一匹配
(?:pattern)	匹配 pattern 但不获取匹配结果，也就是说这是一个非获取匹配，不进行存储供以后使用。这在使用 "或" 字符 (|) 来组合一个模式的各个部分是很有用。
(?=pattern)	正向肯定预查(零宽正向先行断言)，在任何匹配pattern的字符串开始处匹配查找字符串。这是一个非获取匹配，也就是说，该匹配不需要获取供以后使用。
(?!pattern)	正向否定预查(零宽负向先行断言)，在任何不匹配pattern的字符串开始处匹配查找字符串。这是一个非获取匹配，也就是说，该匹配不需要获取供以后使用。
(?<=pattern)	反向肯定预查(零宽正向后行断言)，与正向肯定预查类似，只是方向相反。
(?<!pattern)	反向否定预查(零宽负向后行断言)，与正向否定预查类似，只是方向相反。

第二章：正则表达式进阶

一、零宽断言(预查)

断言：可以理解为一个标记，断点，假如"aa1bb2cc3"，我可以利用断言，即bb2作为标记，一个断点，匹配bb2前的内容或后面的内容；
零宽：在正则表达式中，断言只匹配位置，不占字符，匹配字符结果不会返回断言，即结果不包含标记或者断点

1.正向肯定预查(零宽正向先行断言)

语法：(?=pattern)
作用：匹配 pattern 表达式的前面内容，不返回断言（pattern）本身
字符串：阅读数:557个

表达式：\d+(?=个)

匹配结果：557

HiveSQL: select regexp_extract('阅读数:557个','\\d+(?=个)',0)

2.反向肯定预查(零宽正向后行断言)

语法：(?<=pattern)
作用：匹配 pattern 表达式的前面内容，不返回断言（pattern）本身
字符串：阅读数:557个

表达式：(?<=阅读数:)\d+

匹配结果：557

HiveSQL: select regexp_extract('阅读数:557个','(?<=阅读数:)\\d+',0)

3.正向否定预查(零宽负向先行断言)

语法：(?!pattern)
作用：匹配 pattern 表达式的前面内容，不返回断言（pattern）本身
字符串：阅读数:557个

表达式：\d+(?!阅读数:)

匹配结果：557

HiveSQL: select regexp_extract('阅读数:557个','\\d+(?!阅读数:)',0)

4.反向否定预查(零宽负向后行断言)

语法：(?<!pattern)
作用：匹配 pattern 表达式的前面内容，不返回断言（pattern）本身
字符串：阅读数:557个

表达式：(?<!个)\d+

匹配结果：557

HiveSQL: select regexp_extract('阅读数:557个','(?<!个)\\d+',0)

二、捕获和非捕获

单纯地捕获其实就是匹配，捕获通常与分组一起

捕获组：即将匹配的内容进行分组并且编号，利用编号来使用捕获的内容

1. 数字编号捕获组

语法：(exp)

解释：从表达式左侧开始，每出现一个左括号和它对应的右括号之间的内容为一个分组，在分组中，第0组为整个表达式，第一组开始为分组。

字符串：020-85653333

表达式：(0\d{2})-(\d{8})

匹配结果：

编号	内容	替换取值
0	020-85653333	$0
1	020	$1
2	85653333	$2

1. 命名编号捕获组

语法：(?<name>exp)

解释：分组的命名由表达式中的name指定

字符串：020-85653333

表达式：(?<one>0\\d{2})-(?<two>\\d{8})

匹配结果：

编号	命名编号	内容	替换取值
0		020-85653333	$0
1	one	020	$1
2	two	85653333	$2

1. 非捕获组

语法：(?:exp)

解释：和捕获组刚好相反，它用来标识那些不需要捕获的分组，说的通俗一点，就是你可以根据需要去保存你的分组

字符串：020-85653333

表达式：(?:0\\d{2})-(\\d{8})

匹配结果：

编号	内容	替换取值
0	020-85653333	$0
1	85653333	$1

三、反向引用

捕获会返回一个捕获组，这个分组是保存在内存中，不仅可以在正则表达式外部通过程序进行引用，也可以在正则表达式内部进行引用，这种引用方式就是反向引用

程序逻辑:

1）匹配到一个字母(捕获)
2）匹配下一个字母(捕获)，检查是否和上一个字母(捕获)是否一样
3）如果一样，则匹配成功，否则失败

语法：(exp)\num

解释：num是一个正整数并且为数字编号捕获组的捕获的编号，检查捕获是否重复。

例如：

'(.)\1'匹配'abbbc'，返回'bb';

'(a)(b)\2'匹配'abbbc'，返回'abb';

四、贪婪和懒惰(非贪婪)
1、贪婪匹配

描述：当正则表达式中包含能接受重复的限定符时，通常的行为是（在使整个表达式能得到匹配的前提下）匹配尽可能多的字符，这匹配方式叫做贪婪匹配。
特性：一次性读入整个字符串进行匹配，每当不匹配就舍弃最右边一个字符，继续匹配，依次匹配和舍弃（这种匹配-舍弃的方式也叫做回溯），直到匹配成功或者把整个字符串舍弃完为止，因此它是一种最大化的数据返回，能多不会少。

字符串：61762828 176 2991 87321

表达式：(\\d{1,2})(\\d{3,4})

匹配结果：617628、2991、87321

2、懒惰匹配

描述：当正则表达式中包含能接受重复的限定符时，通常的行为是（在使整个表达式能得到匹配的前提下）匹配尽可能少的字符，这匹配方式叫做懒惰匹配。
特性：从左到右，从字符串的最左边开始匹配，每次试图不读入字符匹配，匹配成功，则完成匹配，否则读入一个字符再匹配，依此循环（读入字符、匹配）直到匹配成功或者把字符串的字符匹配完为止。

字符串：61762828 176 2991 87321

表达式：(\d{1,2}?)(\d{3,4}?)

匹配结果：6176、2828、2991、8732