当我们需要在一大堆字符串中搜寻某些内容的时候可以考虑使用正则表达式(regular expression)。正则表达式描述了一种字符串匹配的模式(pattern),可以用来检查一个字符串是否含有某些内容(子串)、将匹配的子串替换或者从某个串中取出符合某个条件的子串等。
py+thon #可以匹配python, pyython,pyyython等,+表示前面的字符必须至少出现一次(一次或多次)
py?thon #可以匹配python, pthon,?表示前面的字符最多出现一次(0次或一次)
py*thon #可以匹配pthon,python, pyython,pyyython等,*表示前面的字符可以出现任意次(0,1,2。。次)
上面是最简单的正则表达式。
正则表达式里面的内容分为以下几个部分
普通字符
没有显示指定为元字符的所有可打印和不可打印字符,包括所有大小写字母,数字,标点符号,以及一些其他符号。
非打印字符
字符 | 描述 |
---|---|
\cx | 匹配由x指明的控制字符。例如, \cM 匹配一个 Control-M 或回车符。x 的值必须为 A-Z 或 a-z 之一。否则,将 c 视为一个原义的 ‘c’ 字符。 |
\f | 匹配一个换页符。等价于 \x0c 和 \cL。 |
\n | 匹配一个换行符。等价于 \x0a 和 \cJ。 |
\r | 匹配一个回车符。等价于 \x0d 和 \cM。 |
\s | 匹配任何空白字符,包括空格、制表符、换页符等等。等价于 [ \f\n\r\t\v]。注意 Unicode 正则表达式会匹配全角空格符。 |
\S | 匹配任何非空白字符。等价于 [^ \f\n\r\t\v]。 |
\t | 匹配一个制表符。等价于 \x09 和 \cI。 |
\v | 匹配一个垂直制表符。等价于 \x0b 和 \cK。 |
特殊字符
有特殊含义的字符。比如上面例子中的+,表示一个或多个前面字符。如果要搜索带+子串,需要对+进行转义,将正则表达式中+前面加上\改为+
定位符
字符 | 描述 |
---|---|
^ | 匹配输入字符串的开始位置,除非在方括号表达式中使用,此时它表示不接受该字符集合。要匹配 ^ 字符本身,请使用\ ^。 |
$ | 匹配输入字符串的结尾位置。如果设置了 RegExp 对象的 Multiline 属性,则 $ 也匹配 ‘\n’ 或 ‘\r’。要匹配 $ 字符本身,请使用 \$。 |
\b | 匹配一个单词边界,即字与空格间的位置。 |
\B | 非单词边界匹配。 |
限定符
指定正则表达式的一个给定组件必须要出现多少次才能满足匹配
字符 | 描述 |
---|---|
* | 匹配前面的子表达式零次或多次。要匹配 * 字符,请使用\ *。 |
+ | 匹配前面的子表达式一次或多次。要匹配 + 字符,请使用\ +。 |
? | 匹配前面的子表达式零次或一次,或指明一个非贪婪限定符。要匹配 ? 字符,请使用 \?。 |
{n} | n 是一个非负整数。匹配确定的 n 次。 |
{n,} | n 是一个非负整数。至少匹配n 次。 |
{n,m} | m和n 是一个非负整数。至少匹配 n 次,最多匹配m次。 |
* + {n,m}都是贪婪的,会尽可能多的匹配字符,如果在他们后面加上?就可以实现最小匹配。
<h1>chapter 1</h1> # 初始字符串
<.*> # 返回值是:<h1>chapter 1</h1>
<.*?> # 返回值是:<h1>
其他特殊字符
特殊字符 | 描述 |
---|---|
[xyz] | 字符集合,匹配所包含的任意一个字符 |
[a-z] | 字符集合,匹配指定范围的任意一个字符 |
[^xyz] | 字符集合,匹配未包含的任意一个字符 |
[^a-z] | 字符集合,匹配指定范围外的任意一个字符 |
\d | 匹配一个数字字符 |
\D | 匹配一个非数字字符 |
\w | 匹配字母数字下划线,等价于[A-Za-z0-9_] |
\W | 匹配非字母数字下划线,等价于[^A-Za-z0-9_] |
\num | 匹配 num,其中 num 是一个正整数。对所获取的匹配的引用。例如,’(.)\1’ 匹配两个连续的相同字符。 |
. | 匹配除换行符 \n \r之外的任何单字符。要匹配 . ,请使用 \. |
\ | 将下一个字符标记为或特殊字符、或原义字符、或向后引用、或八进制转义符。例如, ‘n’ 匹配字符 ‘\n’。’\n’ 匹配换行符。序列 ‘\\’ 匹配 “\”,而 ‘\(’ 则匹配 “(”。 |
(pattern) | 标记一个子表达式的开始和结束位置。子表达式可以获取供以后使用。要匹配这些字符,请使用 \( 和\)。 |
(?:pattern) | 匹配 pattern 但不获取匹配结果,也就是说这是一个非获取匹配,不进行存储供以后使用。 |
x|y | 指明两项之间的一个选择,匹配x或y。要匹配|,请使用 \|。 |
python中的正则表达式
例子
import re
s='sxjjsgl.(sxjsgl)'
res=re.match('s.*\()',s) # 返回值<re.Match object; span=(0, 9), match='sxjjsgl.('>
res=re.match('x.*$',s) # 返回值None
res.group() # 获取整个pattern匹配的值,如果pattern中有(),可以使用group(1)获取的定括号内的内容
res.span() #获取匹配范围和group对应
res.start()
res.end() #与group对应返回索引的结束位置
尝试从字符串的起始位置匹配一个模式,如果不是起始位置匹配成功的话,match()就返回none,还有一种使用方法:
p = re.compile(pattern) #生成正则对象
res = p.match(string) # 匹配字符串,
re中的方法均可以使用上面两种方式,需要注意findall,两种方法略有不同
搜索(search,match,findall,finditer)
res=research(pattern,string,flags=0) # 返回匹配的第一个字符串
res=re.search('s.*j',s) # 返回<re.Match object; span=(0, 12), match='sxjjsgl.(sxj'> 贪婪模式
res=re.search('s.*?j',s) # 返回<re.Match object; span=(0, 3), match='sxj'> 非贪婪模式
res=re.match(pattern,string,flags) # match 只匹配字符串的开始,search则匹配整个字符串
res=pattern.findall(string,pos,endpos) # 在字符串中找到正则表达式所匹配的所有子串,并返回一个列表,如果没有找到匹配的,则返回空列表。pos : 可选参数,指定字符串的起始位置,默认为 0。endpos : 可选参数,指定字符串的结束位置,默认为字符串的长度。注意: match 和 search 是匹配一次 findall 匹配所有。
res=re.findall('sxj',s) # 返回:['sxj', 'sxj']
res=re.finditer(pattern,string,flags=0) # 和findall类似,只不过返回的是迭代器
替换(sub)
res=re.sub(pattern,repl,string,count=0) # repl可以是字符串或函数,是替代的字符count代表替换的次数,默认0表示替换所有
res=re.sub('sxj','mm',s,count=1) # 返回值:‘mmjsgl.(sxjsgl)’
分割(split)
res=re.split(pattern,string,maxsplit=0,flags=0) # 按照匹配的字符串分割并返回列表,maxsplit表示分隔次数,默认为0,表示不限制次数。
res=re.split('sxj',s) # 返回:['', 'jsgl.(', 'sgl)']
flag标志位,用于控制正则表达式的匹配方式,可选参数有:
re.I #忽略大小写
re.L #表示特殊字符集\w,\W,\b,\B,\s,\S做本地化匹配
re.M # 表示多行模式
re.S # 使.能匹配包括换行符在内的任意字符
re.U # 根据Unicode字符集解析字符。这个标志影响 \w, \W, \b, \B.
re.X # 为了增加可读性,忽略空格和 # 后面的注释