正则表达式

1.正则表达式（Regular Expression）简介

• 为什么需要正则表达式？
  文本的复杂处理。
• 正则表达式的优势和用途？
  • 一种强大而灵活的文本处理工具；
  • 大部分编程语言、数据库、文本编辑器、开发环境都支持正则表达式。
• 正则表达式定义：
  描述了一个规则，通过这个规则可以匹配一类字符串。

工具软件：RegexBuddy

2.正则表达式语法

1. 普通字符：字母、数字、汉字、下划线、没有特殊定义的标点符号。匹配与之相同的一个字符。
2. 简单的转义字符

字符	作用
\n	代表换行符
\t	制表符
\\	代表\本身
\^,\$,\.,\(,\),\{,\},\?,\+,\*,\|,\[,\]	匹配这些字符本身

3. 标准字符集合（能够与“多种字符”匹配的表达式）

注意区分大小写，大写是相反的意思

字符	作用
\d	任意一个数字，0-9中的任意一个
\w	任意一个字母或数字或下划线，也就是A-Z，a-z，0-9，_中任意一个
\s	包括空格、制表符、换行符等空白字符的其中任意一个
.	小数点可以匹配任意一个字符（除了换行符）； 如果要匹配包括“\n”在内的所有字符，一般用[\s\S]

4. 自定义字符集合

[]：能够匹配中括号中任意一个字符

字符	作用
[ab5@]	匹配“a”或“b”或“5”或“@”
[^abc]]	匹配“a”、“b”、“c”之外的任意一个字符（中括号中的^表示取反的意思）

除了^和-之外，正则表达式的特殊符号，如果被包含到中括号中，则失去了特殊意义（如，. 但其它标准字符集仍有意义）。
5. 量词（Quantifier）
修饰匹配次数的特殊符号

表达式	作用
{n}	表达式重复n次
{m,n}	表达式至少重复m次，最多重复n次
{m,}	表达式至少重复m次
?	匹配表达式0次或者1次，相当于{0,1}
+	表达式至少出现1次，相当于{1,}
*	表达式不出现或者出现任意次，相当于{0,}

默认匹配次数为贪婪模式，即匹配的字符越多越好；
可以设置匹配次数为非贪婪模式（即，匹配的字符越少越好）：在修饰匹配次数的特殊符号后再加上一个“?”

如，\w{3,6}? （非贪婪模式）

6. 字符边界（匹配的是符合某种条件的位置） 零宽的

字符	作用
^	与字符串开始的地方匹配
$	与字符串结束的地方匹配
\b	匹配这样一个位置：前面的字符和后面的字符不全是\w

7. 选择符和分组

表达式	作用
｜ 分支结构	左右两边表达式之间“或”关系，匹配左边或者右边
() 捕获组	（1）在被修饰匹配次数的时候，括号中的表达式可以作为整体被修饰 （2）取匹配结果的时候，括号中的表达式匹配到的内容可以被单独得到 （3）每一对括号会分配一个编号，使用（）的捕获根据左括号的顺序从1开始自动编号。捕获元素编号为零的第一个捕获是由整个正则表达式模式匹配的文本
（?:Expression） 非捕获组	一些表达式中，不得不使用（），但又不需要保存（）中子表达式匹配的内容，这时可以用非捕获组来抵消使用（）带来的副作用(因为存储会占用内存)。

反向引用：

• 每一对（）会分配一个编号，使用（）的捕获根据左括号的顺序从1开始自动编号。
• 通过反向引用，可以对分组已捕获的字符串进行引用。

如，“ghjb gvhjb tyugihjk gugu mpmp”需要匹配“gugu”和“mpmp”这种，则可以写如下正则表达式：
(\w{2})\1

8. 预搜索（零宽断言、环视）

• 只进行子表达式的匹配，匹配内容不计入最终的匹配结果，是零宽度的；
• 这个位置应该符合某个条件。判断当前位置的前后字符，是否符合指定的条件，但不匹配前后的字符。是对位置的匹配。
• 正则表达式匹配过程中，如果子表达式匹配到的是字符内容，而非位置，并被保存到最终的匹配结果中，那么就认为这个子表达式是占有字符的；如果子表达式匹配的仅仅是位置，或者匹配的内容并不保存到最终的匹配结果中，那么就认为这个子表达式是零宽度的。占有字符是否为零宽度，是针对匹配的内容是否保存到最终的匹配结果中而言的。

表达式	作用
(?=exp)	断言自身出现的位置的后面能匹配表达式exp
(?!exp))	断言自身出现的位置的后面不能匹配表达式exp
(?<=exp)	断言自身出现的位置的前面能匹配表达式exp
(?<!exp)	断言自身出现的位置的前面不能匹配表达式exp

3.正则表达式的匹配模式

• IGNORECASE 忽略大小写模式
  • 匹配时忽略大小写。
  • 默认情况下，正则表达式是要区分大小写的。
• SINGLELINE 单行模式
  • 整个文本看作一个字符串，只有一个开头，一个结尾。
  • 使小数点“.”可以匹配包含换行符(\n)在内的任意字符。
• MULTILINE 多行模式
  • 每行都是一个字符串，都有开头和结尾。
  • 在指定了MULTILINE之后，如果需要仅匹配字符串开始和结束位置，可以使用**\A和\Z**。

4.JAVA程序中使用正则表达式

相关类位于：java.util.regex包下面

类Pattern：

• 正则表达式的编译表示形式。
• Pattern pattern = Pattern.compile(r, int); //创建正则表达式对象，并启用相应模式

类Matcher：

• 通过解释Pattern对字符串序列执行匹配操作的引擎。
• Matcher matcher = pattern.matcher(str); //匹配str字符串

使用matcher.find()查找匹配的表达式；
使用matcher.group()进行分组：
matcher.group()/matcher.group(0):返回匹配的字符；
matcher.group(1):返回匹配的字符的第一个分组；
matcher.group(2):依次类推…

常用爬虫工具：wget