正则表达式
正则表达式
正则表达式定义:
-描述了一个规则,通过这个规则可以匹配一类字符串
-学习正则表达式很大程度上就是学习正则表达式的语法规则
正则表达式的优势和用途:
-一种强大而灵活的文本处理工具
-大部分编程语言、数据库、文本编辑器、开发环境都支持正则表达式
开发中使用正则表达式的流程
- 分析索要匹配的数据,写出测试用的典型数据
- 在工具软件中进行匹配测试
- 在程序中调用通过测试的正则表达式
正则表达式的基本语法
普通字符:
- 字母、数字、汉字、下划线、以及没有特殊定义的标点符号、都是普通字符。表达式中的普通字符,在匹配一个简单字符串的时候,匹配与之相同的一个字符
简单的转义字符:
- \n 代表换行符
- \t 制表符
- \\ 代表\本身
- \^,\$,\.,\(,\(,\),\?,\+,\*,\|,\[,\] 匹配这些字符本身
标准字符集合
-
能够与’多种字符’匹配的表达式
-
注意区分大小写,大写是相反的意思
\d 任意一个数字,0-9中的一个 \w 任意一个字母或数字或下划线,也就是A~Z,a~z,0~9其中任意一个 \s 包括空格、制表符、换行符等空白字符其中任意一个 . 小数点可以匹配任意一个字符/除了换行符(如果要匹配包括'\n'在内的所有字符,一般用[\s\S])
自定义字符集合
[ab5@] 匹配'a'或'b'或'5'或'@'
[^abc] 匹配'a','b','c'之外的任意一个字符
[f-k] 匹配'f'-'k'之间的任意一个字符
[^A-F0-3] 匹配'A'-'F','0'-'3'之外的任意一个字符
- 正则表达式的特殊符号,被包含到中括号中则失去特殊意义,除了^,-之外
- 标准字符集合,除小数点外,如果被包含于中括号,自定义字符集合将包含 该集合。比如:[\d.-+]将匹配:数字、小数点、+、-
量词(Quantifier)
-修饰匹配次数的特殊符号
{n} 表达式重复n次
{m,n} 表达式至少重复m次,最多重复n次
{m,} 表达式至少重复m次
? 匹配表达式0次或者1次,相当于{0,1}
+ 表达式至少出现1次,相当于{1,}
* 表达式不出现或出现任意次,相当于{0,}
-匹配次数中的贪婪模式(匹配字符越多越好,默认!)
-匹配次数中的非贪婪模式(匹配字符越少越好,修饰匹配次数的特殊符号后 再加上一个"?"号)
字符边界
-(本组标记匹配的不是字符而是位置,符合某种条件的位置)
^ 于字符串开始的地方匹配
$ 于字符串结束的地方匹配
\b 匹配一个单词边界
-\b匹配这样一个位置:前面的字符和后面的字符不全是\w
匹配模式
IGNORECASE 忽略大小写模式:
– 匹配时忽略大小写。
– 默认情况下,正则表达式是要区分大小写的。
SINGLELINE 单行模式:
– 整个文本看作一个字符串,只有一个开头,一个结尾。
– 使小数点 "." 可以匹配包含换行符(\n)在内的任意字符。
MULTILINE 多行模式:
– 每行都是一个字符串,都有开头和结尾。
– 在指定了 MULTILINE 之后,如果需要仅匹配字符串开始和结束位置,可以使用 \A 和 \Z
选择符合分组
| 分支结构 左右两边表达式之间"或"关系,匹配左边或者右边
() 捕获组 1.在被修饰匹配次数的时候,括号中的表达式可以作为整体被修饰
2.取匹配结果的时候,括号中的表达式匹配到的内容可以被单独得到
3.每一对括号会分配一个编号,使用()的捕获根据左括号的顺序从1开始自动编号。捕获元素编号为零的第一 个捕获是由整个正则表达式模式匹配的文本
(?:Expression) 非捕获组 一些表达式中,不得不使用(),但又不需要保存()中子表达式匹配的内容,这时可以用非捕获组来抵消使用()带来的 副作用
反向引用(\nnn) 1.每一对()会分配一个编号,使用()的捕捉根据左括号的顺序从1开始自动编号、
2.通过反向引用,可以对分组已捕获的字符串进行引用
预搜索(零宽断言)
-
只进行子表达式的匹配,匹配内容不计入最终的匹配结果,是零宽度
-
这个位置应该符合某个条件。判断当前位置的前后字符,是否符合指定的条件,但不匹配前后的字符,是对位置的匹配
-
正则表达式匹配过程中,如果子表达式匹配到的是字符内容,而非位置,并被保存到最终的匹配结果中,那么就认为这个子表达式是占有字符的;如果子表达式匹配到的仅仅是位置,或者匹配的内容并不保存到最终的匹配结果中,那么就认为这个子表达式是零宽度的。占有字符还是零宽度,是针对匹配的内容是否保存到最终的匹配结果中而言的。
(?=exp) 断言自身出现的位置的后面能匹配表达式exp (?<=exp) 断言自身出现的位置的前面能匹配表达式exp (?!exp) 断言此位置的后面不能匹配表达式exp (?<!exp) 断言此位置的前面不能匹配表达式exp
Java中使用正则表达式
相关类位于:java.util.regex包下面
- 类Pattern:
Pattern p = Pattern.compile(r,int);//建立正则表达式,并启用相应模式
-类Matcher:
- 通过解释Pattern对chatacter sequence执行匹配操作的引擎
- Matcher m = p.matcher(str)l//匹配str字符串
测试正则表达式的基本用法
import java.util.regex.Matcher;
import java.util.regex.Pattern;
/**
* 测试正则表达式的基本用法
* @author ly
*
*/
public class Demo01 {
public static void main(String[] args) {
//在这个字符串:adfasdf5464asdf3125,是否符合指定的正则表达式
//表达式对象
Pattern pattern = Pattern.compile("\\w+");
//创建Matcher对象
Matcher matcher = pattern.matcher("a@dfasdf5464asdf3125");
// boolean temp = matcher.matches();//尝试将整个字符序列与该模式匹配
// System.out.println(temp);
// boolean temp1 = matcher.find();//该方法扫描输入的序列,查找与该模式匹配的一个子序列
// System.out.println(temp1);
// System.out.println(matcher.find());
// System.out.println(matcher.group());
//
// System.out.println(matcher.find());
// System.out.println(matcher.group());
//
// System.out.println(matcher.find());
while (matcher.find()) {
System.out.println(matcher.group());//group(),group(0)匹配整个表达式的子字符串
System.out.println(matcher.group(0));
}
}
}
测试正则表达式对象分组的处理
import java.util.regex.Matcher;
import java.util.regex.Pattern;
/**
* 测试正则表达式对象分组的处理
* @author ly
*
*/
public class Demo02 {
public static void main(String[] args) {
//在这个字符串:adfasdf5464asdf3125,是否符合指定的正则表达式
//表达式对象
Pattern pattern = Pattern.compile("([a-z]+)([0-9]+)");
//创建Matcher对象
Matcher matcher = pattern.matcher("aaa22@bb223$cc555");
while (matcher.find()) {
System.out.println(matcher.group());//group(),group(0)匹配整个表达式的子字符串
System.out.println(matcher.group(1));
System.out.println(matcher.group(2));
}
}
}
测试正则表达式对象替换操作
import java.util.regex.Matcher;
import java.util.regex.Pattern;
/**
* 测试正则表达式对象替换操作
* @author ly
*
*/
public class Demo03 {
public static void main(String[] args) {
//在这个字符串:adfasdf5464asdf3125,是否符合指定的正则表达式
//表达式对象
Pattern pattern = Pattern.compile("[0-9]");
//创建Matcher对象
Matcher matcher = pattern.matcher("aaa22@bb223$cc555");
//替换操作
String str = matcher.replaceAll("#");
System.out.println(str);
}
}
测试正则表达式对象的分割字符串操作
import java.util.Arrays;
/**
* 测试正则表达式对象的分割字符串操作
* @author ly
*
*/
public class Demo04 {
public static void main(String[] args) {
String str = "a123b665c565465";
String[] arrs = str.split("\\d+");
System.out.println(Arrays.toString(arrs));
}
}
网络爬虫取链接
import java.io.BufferedReader;
import java.io.InputStreamReader;
import java.net.URL;
import java.nio.charset.Charset;
import java.util.ArrayList;
import java.util.List;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
/**
* 网络爬虫取链接 wget
* @author ly
*
*/
public class WebSpiderTest {
/**
* 获得urlStr对应的网页的源码内容
* @param urlStr
* @return
*/
public static String getURLContext(String urlStr,String charset) {
StringBuilder sb = new StringBuilder();
try {
URL url = new URL(urlStr);
BufferedReader reader = new BufferedReader(new InputStreamReader(url.openStream(),Charset.forName(charset)));
String temp = "";
while((temp = reader.readLine()) != null) {
sb.append(temp);
}
} catch (Exception e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
return sb.toString();
}
public static List<String> getMatherSubstrs(String destStr,String regexStr) {
Pattern p = Pattern.compile(regexStr);
Matcher m = p.matcher(destStr);
List<String> result = new ArrayList<String>();
while (m.find()) {
// System.out.println(m.group());
// System.out.println(m.group(1));
result.add(m.group(1));
}
return result;
}
public static void main(String[] args) {
String destStr = getURLContext("http://www.163.com","gbk");
// Pattern p = Pattern.compile("<a[\\s\\S]+?</a>"); //取到的超链接的整个内容
// Pattern p = Pattern.compile("href=\".+?\""); //取到超链接的地址
// Pattern p = Pattern.compile("href=\"(.+?)\"");
List<String> result = getMatherSubstrs(destStr, "href=\"([\\w\\s./:]+?)\"");
for (String temp : result) {
System.out.println(temp);
}
}
}