正则表达式

参考：【从菜鸟到高手】 正则表达式
菜鸟教程-JAVA正则表达式

一、正则表达式的概念

1.1是一种形式语言

正则表达式是一种由符号和规则组成的形式语言。形式语言是一种用简洁的、抽象的、形式化的数学公式来表达复杂语言语法的特殊语言，它只研究语言的组成规律，不涉及语义。
正则表达式定义了字符串的模式；可以用来搜索、编辑或处理文本。并不仅限于某一种语言，但是在每种语言中有细微的差别。

1.2形式语言，形式逻辑的相关知识

Metacharacter ：元字符	A metacharacter is a charachter that has a special meaning (instead of a literal meaning) to a computer program, such as a shell interpreter or a regex engine. （元字符是对计算机程序（如shell解释器或regex引擎）具有特殊意义（而不是字面意义）的字符。）
Regular character: 常规字符	regular character has a literal meaning （正则字符有字面意义）
Regular expression：	Together, metacharacter and regular character can be used to identify text of a given pattern or process a number of instances of it. （ 元字符和正则字符可以一起用于标识给定模式的文本或处理它的多个实例）
wildcard character: has fewer metacharacters and a simple language-base.	In software, a wildcard character is a kind of placeholder represented by a single character, such as an asterisk(* ), which can be interpreted as a number of liberal characters or an empty string. （ 在软件中，通配符是一种由单个字符表示的占位符，例如星号（ * ），它可以解释为许多自由字符或空字符串。）

regex 与 wildcard 比较：
regex processor： NFA(不确定的有穷自动机)，DFA(确定的有穷自动机)

1.3正则表达式的应用：

校验：检查一个字符串中是否包含指定模式的子字符串
替换：将匹配的子字符串替换为给定的新字符串
捕获：提取符合匹配模式的字符串

二、正则表达式的应用

2.1 java.util.regex 包主要包括以下三个类：

• Pattern 类：

pattern 对象是一个正则表达式的编译表示。Pattern 类没有公共构造方法。要创建一个 Pattern 对象，你必须首先调用其公共静态编译方法，它返回一个 Pattern 对象。该方法接受一个正则表达式作为它的第一个参数。

• Matcher 类：

Matcher 对象是对输入字符串进行解释和匹配操作的引擎。与Pattern 类一样，Matcher 也没有公共构造方法。你需要调用 Pattern 对象的 matcher 方法来获得一个 Matcher 对象。

• PatternSyntaxException：

PatternSyntaxException 是一个非强制异常类，它表示一个正则表达式模式中的语法错误。

2.2正则表达式的理解

• 正则表达式是一个表达式，一个 expression
• 表达式由若干个 pattern 组成
• pattern 由符号组成，且遵循特定的规则

本质上，一个模式单元（pattern unit）要做的事情就是来回答： 谁 + 多少 + 在哪里

想一想，如果是我们自己来设计正则表达式的语言规则，我们应该如何设计呢？首先，至少需要三类符号来指代“谁”、“多少”、“在哪里”，更语言化的说法是，我们需要相关的代词，量词，和定位介词！

Patten = 代词 + 量词 + 定位介词

2.3语法

在其他语言中，\ 表示：我想要在正则表达式中插入一个普通的（字面上的）反斜杠，请不要给它任何特殊的意义。

在 Java 中，\ 表示：我要插入一个正则表达式的反斜线，所以其后的字符具有特殊的意义。

所以，在其他的语言中（如Perl），一个反斜杠 \ 就足以具有转义的作用，而在 Java 中正则表达式中则需要有两个反斜杠才能被解析为其他语言中的转义作用。也可以简单的理解在 Java 的正则表达式中，两个 \ 代表其他语言中的一个 \，这也就是为什么表示一位数字的正则表达式是 \d，而表示一个普通的反斜杠是 \\。

2.3.1 代词

代词，用来指代一个特定字符！一定要明白，代词限定了“一个”字符的范围！

常用的代词如下：

• \d： 数字字符匹配。等效于 [0-9]。
• \D： 非数字
• \w： == [0-9a-zA-Z_]
• \W： == [^0-9a-zA-Z_]
• \s： 空格
• \S： 非空格
• . : 匹配除"\r\n"之外的任何单个字符。若要匹配包括"\r\n"在内的任意字符，请使用诸如"[\s\S]"之类的模式。
• [xyz] : 字符集 。匹配包含的任一字符。例如“[abc]”匹配plain 中的“a”
• x|y:匹配x或y，例如’z|food’ 匹配"z"或"food"。’(z|f)ood’ 匹配"zood"或"food"。
• [^xyz] : 反向字符集。匹配未包含的任何字符。例如，"[^abc]“匹配"plain"中"p”，“l”，“i”，“n”。
• .[a-z]: 字符范围。匹配指定范围内的任何字符。例如，"[a-z]"匹配"a"到"z"范围内的任何小写字母。
• [^a-z] : 反向范围字符。匹配不在指定的范围内的任何字符。例如，"[^a-z]"匹配任何不在"a"到"z"范围内的任何字符。
• \cx: 匹配 x 指示的控制字符。例如，\cM 匹配 Control-M 或回车符。x 的值必须在 A-Z 或 a-z 之间。如果不是这样，则假定 c 就是"c"字符本身。
• \f : 换页符匹配。等效于 \x0c 和 \cL。
• \n: 换行符匹配。等效于 \x0a 和 \cJ。
• \r : 匹配一个回车符。等效于 \x0d 和 \cM。
• \s : 匹配任何空白字符，包括空格、制表符、换页符等。与 [ \f\n\r\t\v] 等效。
• \S : 匹配任何非空白字符。与 [^ \f\n\r\t\v] 等效。
• \t : 制表符匹配。与 \x09 和 \cI 等效。
• \v : 垂直制表符匹配。与 \x0b 和 \cK 等效。
• \w : 匹配任何字类字符，包括下划线。与"[A-Za-z0-9_]"等效。
• \W : 与任何非单词字符匹配。与"[^A-Za-z0-9_]"等效。
• \xn : 匹配 n，此处的 n 是一个十六进制转义码。十六进制转义码必须正好是两位数长。例如，"\x41"匹配"A"。"\x041"与"\x04"&"1"等效。允许在正则表达式中使用 ASCII 代码。
• \num : 匹配 num，此处的 num 是一个正整数。到捕获匹配的反向引用。例如，"(.)\1"匹配两个连续的相同字符。
• \n : 标识一个八进制转义码或反向引用。如果 \n 前面至少有 n 个捕获子表达式，那么 n 是反向引用。否则，如果 n 是八进制数 (0-7)，那么 n 是八进制转义码。
• \nm : 标识一个八进制转义码或反向引用。如果 \nm 前面至少有 nm 个捕获子表达式，那么 nm 是反向引用。如果 \nm 前面至少有 n 个捕获，则 n 是反向引用，后面跟有字符 m。如果两种前面的情况都不存在，则 \nm 匹配八进制值 nm，其中 n 和 m 是八进制数字 (0-7)。
• \nml : 当 n 是八进制数 (0-3)，m 和 l 是八进制数 (0-7) 时，匹配八进制转义码 nml。
• \un : 匹配 n，其中 n 是以四位十六进制数表示的 Unicode 字符。例如，\u00A9 匹配版权符号 (©)。

2.3.2量词

量词，就是有多少个代词。

• *: >= 0（零次或多次匹配前面的字符或子表达式）
• +: >= 1
• ? : == 1 or == 0
• {n} :正好匹配 n 次。
• {n,}：至少匹配n次。
• {n, m} : 匹配至少 n 次，至多 m 次。例如，"o{1,3}"匹配"fooooood"中的头三个 o。‘o{0,1}’ 等效于 ‘o?’。注意：您不能将空格插入逗号和数字之间。
• *？、+？、?？、{n}？、{n,}？、{n,m}? : 非贪婪。匹配搜索到的、尽可能短的字符串，而默认的"贪心的"模式匹配搜索到的、尽可能长的字符串。例如，在字符串"oooo"中，"o+?“只匹配单个"o”，而"o+“匹配所有"o”。

2.3.3定位词

• ^ : 匹配输入字符串开始的位置 。如果设置了 RegExp 对象的 Multiline 属性，^ 还会与"\n"或"\r"之后的位置匹配。
• $ :匹配输入字符串结尾的位置。如果设置了 RegExp 对象的 Multiline 属性，$ 还会与"\n"或"\r"之前的位置匹配。
• \b :匹配一个字边界，即字与空格间的位置。例如，“er\b"匹配"never"中的"er”，但不匹配"verb"中的"er"。
• \B : 非字边界匹配。“er\B"匹配"verb"中的"er”，但不匹配"never"中的"er"。

2.3.4选择器:

用来捕获匹配字符串，或者组合多种模式进行匹配

• (pattern)：匹配 pattern 并捕获该匹配的子表达式。可以使用 $0…$9 属性从结果"匹配"集合中检索捕获的匹配。若要匹配括号字符 ( )，请使用"(“或者”)"。

• (?:pattern) ：匹配 pattern 但不捕获该匹配的子表达式，即它是一个非捕获匹配，不存储供以后使用的匹配。这对于用"or"字符 (|) 组合模式部件的情况很有用。例如，'industr(?:y|ies) 是比 ‘industry|industries’ 更经济的表达式。

• (?=pattern) ：执行正向预测先行搜索的子表达式，该表达式匹配处于匹配 pattern 的字符串的起始点的字符串。它是一个非捕获匹配，即不能捕获供以后使用的匹配。例如，‘Windows (?=95|98|NT|2000)’ 匹配"Windows 2000"中的"Windows"，但不匹配"Windows 3.1"中的"Windows"。预测先行不占用字符，即发生匹配后，下一匹配的搜索紧随上一匹配之后，而不是在组成预测先行的字符后。

• (?!pattern) ：执行反向预测先行搜索的子表达式，该表达式匹配不处于匹配 pattern 的字符串的起始点的搜索字符串。它是一个非捕获匹配，即不能捕获供以后使用的匹配。例如，‘Windows (?!95|98|NT|2000)’ 匹配"Windows 3.1"中的 “Windows”，但不匹配"Windows 2000"中的"Windows"。预测先行不占用字符，即发生匹配后，下一匹配的搜索紧随上一匹配之后，而不是在组成预测先行的字符后。

• (?<=pattern) ：反向(look behind)肯定预查

• (?<!pattern) ：反向否定预查

2.3.5 捕获组

捕获组是通过从左到右计算其开括号来编码，例如，在表达式 ((A)((B©)))，对应以下捕获组：

• ((A)(B©))
• (A)
• (B©)
• ©
  可以通过调用 matcher 对象的 groupCount 方法来查看表达式有多少个分组。groupCount 方法返回一个 int 值，表示matcher对象当前有多个捕获组。

还有一个特殊的组（group(0)），它总是代表整个表达式。该组不包括在 groupCount 的返回值中。

import java.util.regex.*;
public class Basic005 {
	public static void main(String[] args) {
	String line="TODAY IS 20190908 day day up!";
	String pattern="(\\D*)(\\d+)(\\sday)(.*)";//0个或多个非数字、至少一个数字、一个空格加day、0个或多个除"\r\n"之外的字符
	Pattern r=Pattern.compile(pattern);//创建Pattern对象
	Matcher m=r.matcher(line);
	if(m.find()) {
		System.out.println("found value:"+m.group(0));
		System.out.println("found value:"+m.group(1));
		System.out.println("found value:"+m.group(2));
		System.out.println("found value:"+m.group(3));
		System.out.println("found value:"+m.group(4));
	}
	}

2.3.6反向引用：

• \1

二义性的符号 ^ : 在代词里表示非，在定位词中表示行首
二义性的符号 ？： 在代词后面表示量词，在量词后面表示非贪婪，在选择器中表示非捕获

2.3.7 举例

• /abcde?fg/
  没有量词的代词，要精确匹配，比如例子中除了 e 之外的字符都要精确匹配，e 有量词 ？，所以表达式可以匹配 abcdefg, abcdfg

• abcdefg[1-9]{3}
  匹配 abcdefg 后面跟三个数字，比如 abcdefg123

三、Matcher类的方法

3.1索引方法

方法	方法说明
public int start()	返回以前匹配的初始索引。
public int start(int group)	返回在以前的匹配操作期间，由给定组所捕获的子序列的初始索引
public int end()	返回最后匹配字符之后的偏移量。
public int end(int group)	返回在以前的匹配操作期间，由给定组所捕获子序列的最后字符之后的偏移量。

start 和 end 方法：
下面是一个对单词“cat”在输入字符串中出现次数计数的例子：

import java.util.regex.*;
public class Basic005 {
	private static final String REGEX="\\bcat\\b";
	private static final String INPUT="cat cat cat cattie cat";
	
	public static void main(String[] args) {
		Pattern p=Pattern.compile(REGEX);//创建一个Pattern对象p
		Matcher m=p.matcher(INPUT);//调用Pattern对象p的matcher方法来获取一个matcher对象m
		int count =0;
		while(m.find()) {
			count++;
			System.out.println("Match number "+count);
			System.out.println("start():"+m.start());
			System.out.println("end():"+m.end());
		}
	}
}

结果如下：

这个例子是使用单词边界，以确保字母 “c” “a” “t” 并非仅是一个较长的词的子串。它也提供了一些关于输入字符串中匹配发生位置的有用信息。
Start 方法返回在以前的匹配操作期间，由给定组所捕获的子序列的初始索引，end 方法最后一个匹配字符的索引加 1。

3.2研究方法

方法	方法说明
public boolean lookingAt()	尝试将从区域开头开始的输入序列与该模式匹配。
public boolean find()	尝试查找与该模式匹配的输入序列的下一个子序列。
public boolean find(int start)	重置此匹配器，然后尝试查找匹配该模式、从指定索引开始的输入序列的下一个子序列。
public boolean matches	尝试将整个区域与模式匹配。

matches和lookingAt方法都用来尝试匹配一个输入序列模式。它们的不同是matches要求整个序列都匹配，而lookingAt不要求
lookingAt方法虽然不需要整句都匹配，但是需要从第一个字符开始匹配。
这两个方法经常在输入字符串的开始使用

import java.util.regex.*;
public class Basic005 {
	private static final String REGEX="foo";
	private static final String INPUT="fooooooo";
	private static final String INPUT2="oooooofooooooooo";
	private static final String INPUT3="foo";
	private static Pattern pattern;
	private static Matcher matcher;
	private static Matcher matcher2;
	private static Matcher matcher3;
	public static void main(String[] args) {
	pattern=Pattern.compile(REGEX);
	matcher=pattern.matcher(INPUT);
	matcher2=pattern.matcher(INPUT2);
	matcher3=pattern.matcher(INPUT3);
	
	System.out.println("input1 lookingAt():"+matcher.lookingAt());//true
	System.out.println("input1 matches():"+matcher.matches());//false
	System.out.println("input2 lookingAt():"+matcher2.lookingAt());//false
	System.out.println("input3 lookingAt():"+matcher3.lookingAt());//true
	System.out.println("input3 matches():"+matcher3.matches());//true
	}
}

3.3替换方法

方法	方法说明
public Matcher appendReplacement(StringBuffer sb, String replacement)	实现非终端添加和替换步骤。
public StringBuffer appendTail(StringBuffer sb)	实现终端添加和替换步骤。
public String replaceAll(String replacement)	替换模式与给定替换字符串相匹配的输入序列的每个子序列。
public String replaceFirst(String replacement)	替换模式与给定替换字符串匹配的输入序列的第一个子序列。
public static String quoteReplacement(String s)	返回指定字符串的字面替换字符串。这个方法返回一个字符串，就像传递给Matcher类的appendReplacement 方法一个字面字符串一样工作。

replaceFirst 和 replaceAll 方法用来替换匹配正则表达式的文本。不同的是，replaceFirst 替换首次匹配，replaceAll 替换所有匹配。

import java.util.regex.*;
public class Basic005 {
	private static String REGEX="dog";
	private static String INPUT1="The dog says meow."+"Alldogs says meow";
	private static String INPUT2="The dog says meow."+"Alldogs says meow";
	private static String REPLACE="cat";
	public static void main(String[] args) {
		Pattern p=Pattern.compile(REGEX);
		Matcher m=p.matcher(INPUT1);
		INPUT1=m.replaceFirst(REPLACE);
		System.out.println("replacefirst:"+INPUT1);//replacefirst:The cat says meow.Alldogs says meow
		Matcher m2=p.matcher(INPUT2);
		INPUT2=m2.replaceAll(REPLACE);
		System.out.println("replaceall:"+INPUT2);	//replaceall:The cat says meow.Allcats says meow
	}
}

Matcher 类也提供了appendReplacement 和 appendTail 方法用于文本替换：
appendReplacement(StringBuffer sb, String replacement) 将当前匹配子串替换为指定字符串，并且将替换后的子串以及其之前到上次匹配子串之后的字符串段添加到一个StringBuffer对象里，而appendTail(StringBuffer sb) 方法则将最后一次匹配工作后剩余的字符串添加到一个StringBuffer对象里。
如下：

import java.util.regex.*;
public class Basic005 {
	private static String REGEX="a*b";
	private static String INPUT="aaaaabbbfooaabbfoooabgggbkkk";
	private static String REPLACE="-";
	public static void main(String[] args) {
		Pattern p=Pattern.compile(REGEX);
		Matcher m=p.matcher(INPUT);
		StringBuffer sb=new StringBuffer();
		while(m.find()) {
			m.appendReplacement(sb, REPLACE);
			System.out.println(sb.toString());
		}
		m.appendTail(sb);
		System.out.println(sb.toString());//---foo--fooo-ggg-kkk
	}
}

在while循环中的输出如下：可见m.appendReplacement(sb,REPLACE)每循环一次将ab替换为一个-，存入sb中，然后寻找下一个ab，两个ab中间的字符也存入sb中，直到找不到ab后退出循环。最后由m.appendTail将剩下的字符存入sb。

四、PatternSyntaxException类的方法

PatternSyntaxException 是一个非强制异常类，它指示一个正则表达式模式中的语法错误。

PatternSyntaxException 类提供了下面的方法来帮助我们查看发生了什么错误。

方法	方法说明
public String getDescription()	获取错误的描述
public int getIndex()	获取错误的索引
public String getPattern()	获取错误的正则表达式模式
public String getMessage()	返回多行字符串，包含语法错误及其索引的描述、错误的正则表达式模式和模式中错误索引的可可视化指示。