一、简介
正则表达式是一种用来匹配字符串的强有力的武器。它的设计思想是用一种描述性的语言来给字符串定义一个规则,凡是符合规则的字符串,我们就认为它“匹配”了,否则,该字符串就是不合法的。测试领域的使用场景,经常用来匹配接口响应结果,断言日志信息等。
二、转义字符
\是转义字符,其后面的字符会代表不同的意思,转义字符主要有三个作用:
第一种,是为了匹配不方便显示的特殊字符,比如换行,tab符号等
第二种,正则中预先定义了一些代表特殊意义的字符,比如\w等
下表是一些常用转义字符:
语法 | 说明 |
---|---|
\n | 匹配换行符 |
\r | 匹配回车符 |
\t | 匹配制表符 |
\d | 匹配数字字符,0~9 |
\D | 匹配非数字字符 |
\w | 匹配任何一个字母或者数字或者下划线 |
\W | 匹配任何一个字母或者数字或者下划线以外的字符 |
三、字符集
有时我们需要匹配一类字符,字符集可以实现这个功能,字符集的语法用[]分隔,下面的代码能够匹配a或b或c
[abc]
如果要表示字符很多,可以使用-表示一个范围内的字符,下面两个功能相同
[0123456789]
[0-9]
在前面添加^,可表示非的意思,下面的代码能够匹配abc之外的任意字符
[^abc]
其实正则还内置了一些字符集,在上面的转义字符有提到,下面给出内置字符集对应的自定义字符集
- \w = [0-9a-Z_]
- \W = [^0-9a-Z_]
- \d = [0-9]
- \D = [^0-9]
例子:如果我想要搜寻 night或fight这两个单词时,可以发现到,其实她们有共通的 ‘?ight’ 存在,这个时候,我可以这样来搜寻:
[dx46507691@shell.ceshiren.com chrisworksapce]$ cat retest.txt
tag lydebug ycdebug zydebug rfdebug
world
night
fight
[dx46507691@shell.ceshiren.com chrisworksapce]$ cat retest.txt | grep [fn]ight
night
fight
[dx46507691@shell.ceshiren.com chrisworksapce]$
字符类的反向选择 [^] ,如果想要搜索满足ight,但是又不想前面有个n,这时可以这样写
[dx46507691@shell.ceshiren.com chrisworksapce]$ cat retest.txt | grep [^n]ight
fight
备注:
. (小数点):代表『一定有一个任意字节』的意思;
* (星号):代表『重复前一个字符, 0 到无穷多次』的意思,为组合形态
四、量词
如果需要匹配多次某个字符,正则也提供了量词的功能,正则中的量词有多个,如?、+、*、{n}、{m,n}、{m,}
{n}匹配n次,比如a{2},匹配aa
{m, n}匹配m-n次,优先匹配n次,比如a{1,3},可以匹配aaa、aa、a
{m,}匹配m-∞次,优先匹配∞次,比如a{1,},可以匹配aaaa…
?匹配0次或1次,优先匹配1次,相当于{0,1}
+匹配1-n次,优先匹配n次,相当于{1,}
*匹配0-n次,优先匹配n次,相当于{0,}
正则默认和人心一样是贪婪的,也就是常说的贪婪模式,凡是表示范围的量词,都优先匹配上限而不是下限
a{1, 3} // 匹配字符串'aaa'的话,会匹配aaa而不是a
有时候这不是我们想要的结果,可以在量词后面加上?,就可以开启非贪婪模式
a{1, 3}? // 匹配字符串'aaa'的话,会匹配a而不是aaa
举例:我想要找出两个到五个 o 的连续字串,该如何作?这时候就得要使用到限定范围的字符 {} 了。 但因为 { 与 } 的符号在 shell 是有特殊意义的,因此, 我们必须要使用字符 \ 来让他失去特殊意义才行,可以这样写
# 找出两个到五个 o 的连续字串
[dx46507691@shell.ceshiren.com chrisworksapce]$ grep -n 'o\{2,5\}' retest.txt
3:woorld
4:wooorld
9:good day
10:goood nice
11:gooood bye
12:goooood five
五、字符边界
有时我们会有边界的匹配要求,比如以xxx开头,以xxx结尾
^在[]外表示匹配行的开头,
^\d表示必须以数字开头
^abc // 可以匹配abc,但是不能匹配aabc
温馨提示:^在[]内表示反向选择
$表示匹配行的结尾
abc$ // 可以匹配abc,但是不能匹配abcc
\b表示匹配单词的边界
abc\b // 可以匹配 abc ,但是不能匹配 abcc
你可能注意到了,py也可以匹配’python’,但是加上^py$就变成了整行匹配,就只能匹配’py’了
六、选择表达式
有时我们想匹配x或者y,如果x和y是单个字符,可以使用字符集,[abc]可以匹配a或b或c,如果x和y是多个字符,字符集就无能为力了,此时就要用到分组
正则中用|来表示分组,a|b表示匹配a或者b的意思
123|456|789 // 匹配 123 或 456 或 789
七、分组与引用
分组是正则中非常强大的一个功能,可以让上面提到的量词作用于一组字符,而非单个字符,分组的语法是圆括号包裹(xxx)
(abc){2} // 匹配abcabc
所以(P|p)ython可以匹配’Python’或者’python’
分组不能放在[]中,分组中还可以使用选择表达式
(123|456){2} // 匹配 123123、456456、123456、456123
和分组相关的另一个概念是引用,比如在匹配html标签时,通常希望后面的xxx能够和前面保持一致
引用的语法是\数字,数字代表引用前面第几个捕获分组,注意非捕获分组不能被引用
<([a-z]+)><\/\1> // 可以匹配 `<span></span>` 或 `<div></div>`等
八、综合运用
例子1:匹配形如023-54579462这样带区号的电话号码。
正则表达式写法:\d{3}-\d{3,8}
解析:
1.1 \d{3}表示匹配3个数字,例如’010’;
1.2 - 由于’-‘是特殊字符,在正则表达式中,要用’'转义;
1.3 \d{3,8}表示3-8个数字,例如’1234567’
例子2:匹配一个数字、字母或者下划线
正则表达式写法:[0-9a-zA-Z_]
例子3:匹配至少由一个数字、字母或者下划线组成的字符串
正则表达式写法:[0-9a-zA-Z_]+
例子4:匹配由字母或下划线开头,后接任意个由一个数字、字母或者下划线组成的字符串,也就是Python合法的变量
正则表达式写法:[a-zA-Z_][0-9a-zA-Z_]*
九、正则在python中的使用
验证Email邮箱地址的正则表达式
正则表达式验证邮箱地址
邮箱@前缀的几种类型:
1、纯数字 123456@qq.com
2、纯字母 zhangsan@qq.com
3、字母数字混合 zhang123@qq.com
4、带点的 zhang.san@qq.com
5、带下划线 zhang_san@qq.com
6、带连接线 zhang-san@qq.com
邮箱@后缀的类型:
1、123456@qq.com
2、123456@vip.qq.com
*至少有两处单词
*顶级域名一般为2~4位(如cn、com、club)
默认前缀、后缀不以’_’、’-’、’.'结尾
脚本如下:
import re
'''
正则表达式验证邮箱地址
邮箱@前缀的几种类型:
1、纯数字 123456@qq.com
2、纯字母 zhangsan@qq.com
3、字母数字混合 zhang123@qq.com
4、带点的 zhang.san@qq.com
5、带下划线 zhang_san@qq.com
6、带连接线 zhang-san@qq.com
邮箱@后缀的类型:
1、123456@qq.com
2、123456@vip.qq.com
*至少有两处单词
*顶级域名一般为2~4位(如cn、com、club)
默认前缀、后缀不以'_'、'-'、'.'结尾,所以正则可以写成:
'''
def is_valid_email(addr):
re_addr = r'^[A-Za-z\d]+([-_.][A-Za-z\d]+)*@([A-Za-z\d]+.)+[A-Za-z]{2,4}$'
if not re.match(re_addr, addr):
return False
return True
# 测试:
assert is_valid_email('someone@gmail.com')
assert is_valid_email('bill.gates@microsoft.com')
assert not is_valid_email('bob#example.com')
assert not is_valid_email('mr*bob@example.com')
print('test pass')