一.入门基础
1.元字符
很多人对正则表达式的印象就是乱码。。许许多多的符号组合在一起,偶见单词,正则确实是这样的,所以下面我们要看看这些符号都是什么意思
有些符号不是大家看到的字面上的意思:比如“.”、“!”、“?”……
这些符号就称之为元字符
下面我们逐一说明
“\”:转义符号,在字符组内依然是元字符。
在检查一行文本时
“^”:脱字符:表示一行的开始
“$”:美元符号:表示一行的结束
字符组
“[]”:一对中括号,里面可以添加任何内容,比如[hate],括号里面的内容是或者的关系,这个正则的意义是:我想匹配一个字符,这个字符可以是h,可以是a,也可以是t或e。
记住:字符组最终只会匹配一个字符。即使你的目标字符串是hate,那么一次匹配成功的结果也只是第一个字母h,并不是整个单词,如果我就想匹配hate这个单词怎么办?很容易,正则内容为“hate”,在字符组外面的字符的关系是“和,并且”的意思。
注意:字符组内的元字符和字符组外的元字符并不一样,即使字符一样,表示的意义也未必相同 (*)
我们先学习下一个内容,然后再来给大家解释上面的这句话
“[^]”:括号里面以“^”开头,是字符组的否定形式,比如:[^hate]表示:匹配除了h、a、t、e以外的其他字符,依然只会匹配一个字符
之前刚刚学过“^”表示一行的开始,但是脱字符位于[]内的起始位置则表示否定,这也解释了(*)的内容
如果脱字符位于括号内其他位置表示什么呢?那它表示它自己,此时并不再是一个元字符
“-”:减号,可以在字符组内表示区间、范围。比如“[a-z]”,表示匹配a到z直接的任意一个小写字母,如果是“[-z]”,那么“-”只表示它自己,没有任何特殊意义,它在字符组外也没有任何特殊意义。
ps:关于“^”、“$”、“-”的其他用法将在高级基础篇讲述
“.”:点号,匹配一个任意字符的字符组简便写法。“.”在字符组内没不是元字符
ps:“.”也不是万能的,有些字符无法匹配,之后会详细解释并给出替代方案
“|”:竖线,表示或者,这个很容易记忆,如果想匹配hate或者like,那么正则为:“hate|like”
注意:如果想匹配I hate you和I like you。那么正则为:“I (hate|like) you”。如果写成“I hate|like you”,那么匹配的结果为“I hate”或者是“like you”了
这里圆括号的作用是控制竖线的作用范围,“()”有很多作用,稍后再说
“\b”:它的作用是单词分隔符,如果我想匹配like,那么正则为“like”,没错,但是会得到一些我不想要的结果,比如likely也会跑到结果集中,我可不想要这些单词。那么修改正则为:“\blike\b”,这回就只能匹配like这个单词了。
注意:java中的单词分隔符为“\b”,有些语言的单词分隔符为“\”。
单词边界是什么呢?其实正则没有那么聪明,它不会识别“Ilikeyou”为“I like you”,它只是找到数字和字母的起始位置和结束位置而已
“\w”:单词字符。在java中相当于“[a-zA-Z0-9_]”。但是java中的“\b”却支持Unicode字符。
下面我们来看看正则中的“数字” - 量词
“?”:表示0个至1个
“*”:表示0个至任意多个
“+”:表示至少一个
“{min,max}”:区间量词。“{2,5}”,表示匹配2到5次。“{2,}”表示至少两次,“{2}”表示只匹配两次。 “{,2}”,正则错误,无意义
举个例子:正如上面的反面教程所说,如果想匹配一个正整数,那么应该如何来做
首先我们需要明确:我不想匹配0123,只想匹配123这样的数字,0不能开头,第二个要求就是除了数字不能有其他字符了
之前我们学过字符组了,“[0-9]”可以表示0至9中任意一个数字,那么根据上面的量词,我们改正则为“[0-9]+”,表示至少有一个数字,至多没有限制。但是0123这样的数字也会满足要求。那么我们再修改一下,首先第一位不能为0,那么这一位可以写为“[1-9]”,表示匹配1到9的任何一个数字,之后呢?后面的数字有没有都无所谓了,有,那就是多位数,没有,那就是一位数。所以正则为“[1-9][0-9]*”。
常见字符范围缩写
贪婪与懒惰
我们再来看一个量词的例子。比如我想匹配一个单词,正则可以这么写“[a-zA-Z]+”,或者“\w+”
1 /**
2 * 测试 正则表达式3 * @ClassName: regexTest_14 * @Description:5 *@authorxingle6 * @date 2014-4-21 上午11:15:097 */
8 public classregexTest_1 {9 public static voidmain(String[] args) {10 String input = "there is a book on the desk.";11 //正则表达式
12 String regex = "\\w+";13 Pattern p =Pattern.compile(regex);14 Matcher m =p.matcher(input);15 boolean found = false;16 while(m.find()) {17 found = true;18 System.out.println("输入:"+input);19 System.out.printf("匹配的字符: \"%s\" 索引开始为 %d and 结束索引为 %d.%n",20 m.group(), m.start(), m.end());21 System.out.println();22 }23 if(found==false){24 System.out.println("没有找到匹配字符串!");25 }26
27 }28
29 }
执行结果:
输入:there is a book on the desk.
匹配的字符: "there" 索引开始为 0 and 结束索引为 5.
输入:there is a book on the desk.
匹配的字符: "is" 索引开始为 6 and 结束索引为 8.
输入:there is a book on the desk.
匹配的字符: "a" 索引开始为 9 and 结束索引为 10.
输入:there is a book on the desk.
匹配的字符: "book" 索引开始为 11 and 结束索引为 15.
输入:there is a book on the desk.
匹配的字符: "on" 索引开始为 16 and 结束索引为 18.
输入:there is a book on the desk.
匹配的字符: "the" 索引开始为 19 and 结束索引为 22.
输入:there is a book on the desk.
匹配的字符: "desk" 索引开始为 23 and 结束索引为 27.
有个问题就出来了:“\w+”表示至少一个“\w”,那么为什么结果不是“t”、“h”、“e”、“r”、“e”,而是“there”。
上面的量词,除了“{times}”这种指定匹配次数的,其余默认均为贪婪匹配。也就是说尽可能多的匹配。
相对的就有惰性匹配,那么惰性匹配如何使用?
下面修改一下例子:“\w*e”表示以e结尾的单词,现在这里的*还是贪婪匹配。
1 public classregexTest_1 {2 public static voidmain(String[] args) {3 String input = "there is a book on the desk.";4 //正则表达式
5 String regex = "\\w*e";6 Pattern p =Pattern.compile(regex);7 Matcher m =p.matcher(input);8 int c = 0;9 boolean found = false;10 System.out.println("输入:"+input);11 while(m.find()) {12 c++;13 found = true;14 System.out.println("第 "+c+"个");15 System.out.printf("匹配的字符: \"%s\" 索引开始为 %d and 结束索引为 %d.%n",16 m.group(), m.start(), m.end());17 System.out.println();18 }19 if(found==false){20 System.out.println("没有找到匹配字符串!");21 }22 }23 }
执行结果:
输入:there is a book on the desk.
第 1个
匹配的字符: "there" 索引开始为 0 and 结束索引为 5.
第 2个
匹配的字符: "the" 索引开始为 19 and 结束索引为 22.
第 3个
匹配的字符: "de" 索引开始为 23 and 结束索引为 25.
如果我想匹配到单词中的第一个e,那么如何修改呢?
1 public classregexTest_1 {2 public static voidmain(String[] args) {3 String input = "there is a book on the desk.";4 //正则表达式 匹配到每个单词的第一个e结束
5 String regex = "\\b\\w*?e";6 Pattern p =Pattern.compile(regex);7 Matcher m =p.matcher(input);8 int c = 0;9 boolean found = false;10 System.out.println("输入:"+input);11 while(m.find()) {12 c++;13 found = true;14 System.out.println("第 "+c+"个");15 System.out.printf("匹配的字符: \"%s\" 索引开始为 %d and 结束索引为 %d.%n",16 m.group(), m.start(), m.end());17 System.out.println();18 }19 if(found==false){20 System.out.println("没有找到匹配字符串!");21 }22 }23 }
执行结果:
输入:there is a book on the desk.
第 1个
匹配的字符: "the" 索引开始为 0 and 结束索引为 3.
第 2个
匹配的字符: "the" 索引开始为 19 and 结束索引为 22.
第 3个
匹配的字符: "de" 索引开始为 23 and 结束索引为 25.
还是来看there,这回“\w+”只匹配了“th”,并没有匹配到“ther”才停止。
惰性匹配就是尽可能少的匹配,使用方法就是在量词后面加上“?”
如果量词后面没有“?”等其他量词,那么就是默认的贪婪匹配。
要是匹配整个单词,结尾加单词分隔符“\b”
1 public classregexTest_1 {2 public static voidmain(String[] args) {3 String input = "there is a book on the desk.";4 //正则表达式 匹配到以e结束的整个单词
5 String regex = "\\b\\w*?e\\b";6 Pattern p =Pattern.compile(regex);7 Matcher m =p.matcher(input);8 int c = 0;9 boolean found = false;10 System.out.println("输入:"+input);11 while(m.find()) {12 c++;13 found = true;14 System.out.println("第 "+c+"个");15 System.out.printf("匹配的字符: \"%s\" 索引开始为 %d and 结束索引为 %d.%n",16 m.group(), m.start(), m.end());17 System.out.println();18 }19 if(found==false){20 System.out.println("没有找到匹配字符串!");21 }22 }23 }
执行结果:
输入:there is a book on the desk.
第 1个
匹配的字符: "there" 索引开始为 0 and 结束索引为 5.
第 2个
匹配的字符: "the" 索引开始为 19 and 结束索引为 22.
“?”,“*”,“+”:也叫匹配优先量词
“*?”,“+?”,“??”:也叫忽略优先量词
其实还有一种量词:
“?+”,“*+”,“++”:占有优先量词 。(支持这种量词的正则引擎很少,java支持)
这节不讨论这种类型量词,之后的章节讨论
():将括号里面的内容作为一个独立的单元,理解为一组。
二 、正则表达式进阶
1.捕获组
捕获组(capturing group)是将多个字符作为单独的单元来对待的一种方式。构建它们可以通过把字符放在一对圆括号中而成为一组。例如,正则表达式(dog)建了单个的组,包括字符“d”“o”和“g”。匹配捕获组输入的字符串部分将会存放于内存中,稍后通过反向引用再次调用。
1.编号方式
在 Pattern 的 API 描述中,捕获组通过从左至右计算开始的圆括号进行编号。例如,在表达式((A)(B(C)))中,有下面的四组:
1.((A)(B(C)))
2.(A)
3.(B(C))
4.(C)
要找出当前的表达式中有多少组,通过调用 Matcher 对象的 groupCount 方法。groupCount 方法返回 int 类型值,表示当前 Matcher 模式中捕获组的数量。例如,groupCount 返回 4 时,表示模式中包含有 4 个捕获组。
有一个特别的组——组 0,它表示整个表达式。这个组不包括在 groupCount 的报告范围内。以(?开始的组是纯粹的非捕获组(non-capturing group),它不捕获文本,也不作为组总数而计数
Matcher 中的一些方法,可以指定 int 类型的特定组号作为参数,因此理解组是如何编号的是尤为重要的。
public int start(int group):返回之前的匹配操作期间,给定组所捕获的子序列的初始索引。
public int end(int group):返回之前的匹配操作期间,给定组所捕获子序列的最后字符索引加 1。
public String group (int group):返回之前的匹配操作期间,通过给定组而捕获的输入子序列。
2.非捕获组
一些表达式中,不得不使用( ),但又不需要保存( )中子表达式匹配的内容,这时可以用非捕获组来抵消使用( )带来的副作用。
“(?:)”:非捕获型括号。“(?:desk)”会匹配到desk这个字符串,但是如果你企图使用反向引用“(?:desk) \1”,那么就会出现错误。这样的操作是非法的。
注意:非捕获型括号不影响捕获计数
好处:
1.提高效率,很容易理解,不记住捕获的内容也就不占用内存了
2.结构清晰
3.反向引用
1 概述
捕获组捕获到的内容,不仅可以在正则表达式外部通过程序进行引用,也可以在正则表达式内部进行引用,这种引用方式就是反向引用。
反向引用的作用通常是用来查找或限定重复、查找或限定指定标识配对出现等等。
对于普通捕获组和命名捕获组的引用,语法如下:
普通捕获组反向引用:\k,通常简写为\number
命名捕获组反向引用:\k或者\k'name'
普通捕获组反向引用中number是十进制的数字,即捕获组的编号;命名捕获组反向引用中的name为命名捕获组的组名。
2 反向引用匹配原理
捕获组(Expression)在匹配成功时,会将子表达式匹配到的内容,保存到内存中一个以数字编号的组里,可以简单的认为是对一个局部变量进行了赋值,这时就可以通过反向引用方式,引用这个局部变量的值。一个捕获组(Expression)在匹配成功之前,它的内容可以是不确定的,一旦匹配成功,它的内容就确定了,反向引用的内容也就是确定的了。
反向引用必然要与捕获组一同使用的,如果没有捕获组,而使用了反向引用的语法,不同语言的处理方式不一致,有的语言会抛异常,有的语言会当作普通的转义处理。
2.1 从一个简单例子说起
源字符串:abcdebbcde
正则表达式:([ab])\1
对于正则表达式“([ab])\1”,捕获组中的子表达式“[ab]”虽然可以匹配“a”或者“b”,但是捕获组一旦匹配成功,反向引用的内容也就确定了。如果捕获组匹配到“a”,那么反向引用也就只能匹配“a”,同理,如果捕获组匹配到的是“b”,那么反向引用也就只能匹配“b”。由于后面反向引用“\1”的限制,要求必须是两个相同的字符,在这里也就是“aa”或者“bb”才能匹配成功。
考察一下这个正则表达式的匹配过程,在位置0处,由“([ab])”匹配“a”成功,将捕获的内容保存在编号为1的组中,然后把控制权交给“\1”,由于此时捕获组已记录了捕获内容为“a”,“\1”也就确定只有匹配到“a”才能匹配成功,这里显然不满足,“\1”匹配失败,由于没有可供回溯的状态,整个表达式在位置0处匹配失败。
正则引擎向前传动,在位置5之前,“([ab])”一直匹配失败。传动到位置5处时,,“([ab])”匹配到“b”,匹配成功,将捕获的内容保存在编号为1的组中,然后把控制权交给“\1”,由于此时捕获组已记录了捕获内容为“b”,“\1”也就确定只有匹配到“b”才能匹配成功,满足条件,“\1”匹配成功,整个表达式匹配成功,匹配结果为“bb”,匹配开始位置为5,结束位置为7。
扩展一下,正则表达式“([a-z])\1{2}”也就表达连续三个相同的小写字母。
常用空白字符
“\s”:表示所有空白字符。
“\t”:制表符。
“\n”:换行符。
“\r”:回车。
一些其他常用的缩略表示
“\S”:除“\s”之外的任何字符
“\w”:等同于[a-zA-Z0-9_]
“\W”:除“\w”之外的任何字符
“\d”:等同于[0-9]
“\D”:除“d”之外的任何字符
有些工具不支持,比如EditPlus v3.10 中的查找就不支持\d等。
环视(零宽断言)
环视分为顺序和逆序,肯定和否定,组合一下一共4种。下面就看看环视到底是什么
“(?=)”:顺序肯定环视:(从左至右)查看文本,如果能够匹配,就返回匹配成功信息。
“(?<=)”:逆序肯定环视:(从右至左)查看文本,如果能够匹配,就返回匹配成功信息。
“(?!)”:顺序否定环视:(从左至右)查看文本,如果不能够匹配,就返回匹配成功信息。
“(?
下面看几个简单的实例
例:下面有两句话,加入你只想找到book,不想找到books
there is a book on the desk.
there are some books on the desk.
最简单的办法是:“book\b”,这很容易理解,book后面跟着单词分隔符,book后面如果是s,那么肯定被认为是一个单词,所以这样不会匹配到books。如果用环视,应该如何书写呢
“book(?!\w)”
1 public classregexTest_1 {2 public static voidmain(String[] args) {3 String input = "there is a book on the desk. there are some books on the desk.";4 //正则表达式 等价于"book\\b"
5 String regex = "book(?!\\w)";6 Pattern p =Pattern.compile(regex);7 Matcher m =p.matcher(input);8 int c = 0;9 boolean found = false;10 System.out.println("输入:"+input);11 while(m.find()) {12 c++;13 found = true;14 System.out.println("第 "+c+"个");15 System.out.printf("匹配的字符: \"%s\" 索引开始为 %d and 结束索引为 %d.%n",16 m.group(), m.start(), m.end());17 System.out.println();18 }19 if(found==false){20 System.out.println("没有找到匹配字符串!");21 }22 }23 }
正则中的book很好理解,依次匹配b、o、o、k,然后呢,\w在上面说过等同于[a-zA-Z0-9],“(?!\w)”是说:我要找这样一个位置,这个位置的后面不能是\w。
第一句话中,在匹配了book后,发现紧跟的是一个空格,恩,不是\w中的内容,匹配成功。
如果想匹配books的book怎么办,很简单“book(?=s)”
注意:环视不会占用字符!环视查找的是字符与字符之间的位置。
环视括号并没有捕获字符的功效,所以不能使用反向引用。
参考资料: