Python 正则表达式
1. 正则表达式模式
模式字符串使用特殊的语法来表示一个正则表达式:
- 模式字符串使用特殊的语法来表示一个正则表达式:
- 字母和数字表示他们自身。一个正则表达式模式中的字母和数字匹配同样的字符串。
- 多数字母和数字前加一个反斜杠时会拥有不同的含义。
- 标点符号只有被转义时才匹配自身,否则它们表示特殊的含义。
- 反斜杠本身需要使用反斜杠转义。
- 由于正则表达式通常都包含反斜杠,所以你最好使用原始字符串来表示它们。模式元素(如 r’\t’,等价于 ‘\t’)匹配相应的特殊字符。
- 下表列出了正则表达式模式语法中的特殊元素。如果你使用模式的同时提供了可选的标志参数,某些模式元素的含义会改变。
2. 正则表达式实例
3. 正则表达式修饰符 - 可选标志
正则表达式可以包含一些可选标志修饰符来控制匹配的模式。修饰符被指定为一个可选的标志。多个标志可以通过按位 OR(|) 它们来指定。如 re.I | re.M 被设置成 I 和 M 标志:
4. 正则表达式对象
4.1 re.match 方法
re.match 尝试从字符串的起始位置匹配一个模式,如果不是起始位置匹配成功的话,match()就返回none。
语法:
re.match(pattern, string, flags=0)
参数:
匹配成功re.match方法返回一个匹配的对象,否则返回None。
我们可以使用group(num) 或 groups() 匹配对象函数来获取匹配表达式。
demo1:
import re
print(re.match('www', 'www.runoob.com').start()) # 返回开始位置
print(re.match('www', 'www.runoob.com').end()) # 返回结束位置
print(re.match('www', 'www.runoob.com').span()) # 以tuple形式返回范围
print(re.match('www', 'www.runoob.com')) #
print(re.match('com', 'www.runoob.com')) # 不在起始位置匹配
output:
0
3
(0, 3)
<re.Match object; span=(0, 3), match='www'>
None
demo2
line = '''Cats are smarter than dogs
'''
matchObj = re.match( r'(.*) are (.*?) .*', line, re.M|re.I)
if matchObj:
print("matchObj.group() : ", matchObj.group())
print( "matchObj.group(1) : ", matchObj.group(1))
print ("matchObj.group(2) : ", matchObj.group(2))
else:
print( "No match!!")
output:
matchObj.group() : Cats are smarter than dogs
matchObj.group(1) : Cats
matchObj.group(2) : smarter
4.2 re.search方法
re.search 扫描整个字符串并返回第一个成功的匹配。
语法:
re.search(pattern, string, flags=0)
demo1:
import re
print(re.search('www', 'www.runoob.com').span()) # 在起始位置匹配
print(re.search('com', 'www.runoob.com').span()) # 不在起始位置匹配
output:
(0, 3)
(11, 14)
re.match与re.search的区别
re.match只匹配字符串的开始,如果字符串开始不符合正则表达式,则匹配失败,函数返回None;而re.search匹配整个字符串,直到找到一个匹配。
demo2:
import re
line = "Cats are smarter than dogs";
matchObj = re.match( r'dogs', line, re.M|re.I)
if matchObj:
print "match --> matchObj.group() : ", matchObj.group()
else:
print "No match!!"
matchObj = re.search( r'dogs', line, re.M|re.I)
if matchObj:
print "search --> searchObj.group() : ", matchObj.group()
else:
print "No match!!"
output:
No match!!
search --> searchObj.group() : dogs
4.3 re.sub 方法
Python 的 re 模块提供了re.sub用于替换字符串中的匹配项。
语法:
re.sub(pattern, repl, string, count=0, flags=0)
参数:
- pattern : 正则中的模式字符串。
- repl : 替换的字符串,也可为一个函数。
- string : 要被查找替换的原始字符串。
- count : 模式匹配后替换的最大次数,默认 0 表示替换所有的匹配。
demo1:
import re
phone = "2004-959-559 # 这是一个国外电话号码"
# 删除字符串中的 Python注释
num = re.sub(r'#.*$', "", phone)
print ("电话号码是: ", num)
# 删除非数字(-)的字符串
num = re.sub(r'\D', "", phone)
print ("电话号码是 : ", num)
output:
电话号码是: 2004-959-559
电话号码是 : 2004959559
demo2:
import re
# 将匹配的数字乘以 2
def double(matched):
print(matched)
value = int(matched.group('value'))
return str(value * 2)
s = 'A23G4HFD567'
print(re.sub('(?P<value>\d+)', double, s))
output:
A46G8HFD1134
4.4 re.compile 方法
compile 函数用于编译正则表达式,生成一个正则表达式( Pattern )对象,供 match() 和 search() 这两个函数使用。
语法格式为:
语法:
re.compile(pattern[, flags])
参数:
-
pattern : 一个字符串形式的正则表达式
-
flags : 可选,表示匹配模式,比如忽略大小写,多行模式等,具体参数为:
- re.I 忽略大小写
- re.L 表示特殊字符集 \w, \W, \b, \B, \s, \S 依赖于当前环境
- re.M 多行模式
- re.S 即为 . 并且包括换行符在内的任意字符(. 不包括换行符)
- re.U 表示特殊字符集 \w, \W, \b, \B, \d, \D, \s, \S 依赖于 Unicode 字符属性数据库
- re.X 为了增加可读性,忽略空格和 # 后面的注释
>>>import re
>>> pattern = re.compile(r'([a-z]+) ([a-z]+)', re.I) # re.I 表示忽略大小写
>>> m = pattern.match('Hello World Wide Web')
>>> print( m) # 匹配成功,返回一个 Match 对象
<_sre.SRE_Match object at 0x10bea83e8>
>>> m.group(0) # 返回匹配成功的整个子串
'Hello World'
>>> m.span(0) # 返回匹配成功的整个子串的索引
(0, 11)
>>> m.group(1) # 返回第一个分组匹配成功的子串
'Hello'
>>> m.span(1) # 返回第一个分组匹配成功的子串的索引
(0, 5)
>>> m.group(2) # 返回第二个分组匹配成功的子串
'World'
>>> m.span(2) # 返回第二个分组匹配成功的子串
(6, 11)
>>> m.groups() # 等价于 (m.group(1), m.group(2), ...)
('Hello', 'World')
>>> m.group(3) # 不存在第三个分组
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
IndexError: no such group
上面demo中:
- group([group1, …]) 方法用于获得一个或多个分组匹配的字符串,当要获得整个匹配的子串时,可直接使用 group() 或 group(0);
- start([group]) 方法用于获取分组匹配的子串在整个字符串中的起始位置(子串第一个字符的索引),参数默认值为 0;
- end([group]) 方法用于获取分组匹配的子串在整个字符串中的结束位置(子串最后一个字符的索引+1),参数默认值为 0;
- span([group]) 方法返回 (start(group), end(group))。
4.5 find方法
4.5.1 findall 方法
在字符串中找到正则表达式所匹配的所有子串,并返回一个列表,如果没有找到匹配的,则返回空列表。
注意: match 和 search 是匹配一次 findall 匹配所有。
语法:
findall(string[, pos[, endpos]])
参数:
- string : 待匹配的字符串。
- pos : 可选参数,指定字符串的起始位置,默认为 0。
- endpos : 可选参数,指定字符串的结束位置,默认为字符串的长度。
demo:
import re
pattern = re.compile(r'\d+') # 查找数字
result1 = pattern.findall('runoob 123 google 456')
result2 = pattern.findall('run88oob123google456', 0, 10)
print(result1)
print(result2)
output:
['123', '456']
['88', '12']
4.5.2 re.finditer 方法
和 findall 类似,在字符串中找到正则表达式所匹配的所有子串,并把它们作为一个迭代器返回。
语法:
re.finditer(pattern, string, flags=0)
demo:
import re
it = re.finditer(r"\d+","12a32bc43jf3")
for match in it:
print (match.group() )
output:
12
32
43
3
4.5.3 re.findall 方法
和 findall 类似,在字符串中找到正则表达式所匹配的所有子串,并把它们作为一个列表返回。
语法:
re.finditer(pattern, string, flags=0)
import re
re.findall(r"\d+","12a32bc43jf3")
output:
['12', '32', '43', '3']
5. 数据提取demo
demo1:
import re
target = '''
【Amar A Mue rte】链接:<a class="ql-link" href="https://pan.baidu.com/s/1DD9CTsHoNPibTNfHzT70mA" 【恋】链接:<a class="ql-link" href="https://pan.baidu.com/s/11Eo0sudT-nQXZBUrB8eMGQ" target="_blank"【AI:我与女友与人工智能】链接<a class="ql-link" href="https://pan.baidu.com/s/1UE_51RaoUg3JNFODX0g_ow" 【远漂】 链接:</span><a class="ql-font-microsoftyahei ql-link" href="https://pan.baidu.com/s/1Kd7O6ri75kDTEA4KVnV8CQ" 【你好】链接:<a class="ql-link" href="https://pan.baidu.com/s/14bKxSYx2rkn2Pa4knjMaew" target="_blank" rel="noopener noreferrer nofollow">https://pan.baidu.com/s/14bKxSYx2rkn2Pa4knjMaew</a> 提取码:WJSY</p><p line="854Y"><span style="color: #353535;" class="ql-font-microsoftyahei">【女人TAXI女人】 链接:</span><a class="ql-font-microsoftyahei ql-link" href="https://pan.baidu.com/s/1zYsa7_m6m3Jo7TON96gvaA" target=
'''
re.findall('(【\S+\s*\S*\s*\S*\s*\S*】\s*\S*)链接:*<',aa)
output:
['【Amar A Mue rte】',
'【恋】链接:<a class="ql-link" href="https://pan.baidu.com/s/11Eo0sudT-nQXZBUrB8eMGQ" target="_blank"【AI:我与女友与人工智能】',
'【远漂】 ',
'【女欢】',
'【女人TAXI女人】 ']