re模块
【一】正则语法
-
在线测试工具 正则表达式在线测试 - 站长工具
-
正则就只和字符串相关
-
正则:按照指定的匹配规则从字符串中匹配或者截取相应的内容
【1】字符组
-
[字符组] 在同一个位置可能出现的各种字符组成了一个字符组
-
字符组用[]
-
字符组的[备选项]字母/数字/特殊标点.....
-
语法re.findall(正则模式,文本),基于正则模式查找所有匹配的文本内容
正则 | 待匹配字符 | 匹配结果 | 说明 |
---|---|---|---|
[0123456789] | 8 | True | 在一个字符组里枚举合法的所有字符,字符组里的任意一个字符和"待匹配字符"相同都视为可以匹配 |
[0123456789] | a | False | 由于字符组中没有"a"字符,所以不能匹配 |
[0-9] | 7 | True | 也可以用-表示范围,[0-9]就和[0123456789]是一个意思 |
[a-z] | s | True | 同样的如果要匹配所有的小写字母,直接用[a-z]就可以表示 |
[A-Z] | B | True | [A-Z]就表示所有的大写字母 |
[0-9a-fA-F] | e | True | 可以匹配数字,大小写形式的a~f,用来验证十六进制字符 |
-
例题:re.findall(正则模式,文本)
import re
ret2=re.findall("a","asdfgaa")
print(ret2)#['a', 'a', 'a']
ret3=re.findall("[4,6]","ad,gh,54,14")
print(ret3)#[',', ',', '4', ',', '4']
ret4=re.findall("[ace]", "a,b,c,d,e")
print(ret4)#['a', 'c', 'e']
#匹配a~z小写字母
ret5 = re.findall("[a-z]", "a,b,c,d,e")
print(ret5)#['a', 'b', 'c', 'd', 'e']
#匹配0~9数字
ret6 = re.findall("[0-9]", "1,2,3,4,5")
print(ret6)#['1', '2', '3', '4', '5']
#除了字母以外
ret7 = re.findall("[^a-z]", "1,a,2,b,3")
print(ret7)#['1', ',', ',', '2', ',', ',', '3']
ret8 = re.findall("\d", "1,2,3,4,5")
print(ret8)#['1', '2', '3', '4', '5']
ret9 = re.findall("[0-9a-z]", "1,a,2,b,3")
print(ret9)#['1', 'a', '2', 'b', '3']
【2】元字符
元字符 | 匹配内容 |
---|---|
. | 匹配除换行符以外的任意字符 |
\w | 匹配字母或数字或下划线 |
\s | 匹配任意的空白符 |
\d | 匹配数字 |
\n | 匹配一个换行符 |
\t | 匹配一个制表符 |
\b | 匹配一个单词的结尾 |
^ | 匹配字符串的开始 |
$ | 匹配字符串的结尾 |
\W | 匹配非字母或数字或下划线 |
\D | 匹配非数字 |
\S | 匹配非空白符 |
a|b | 匹配字符a或字符b |
() | 匹配括号内的表达式,也表示一个组 |
[...] | 匹配字符组中的字符 |
[^...] | 匹配除了字符组中字符的所有字符 |
-
匹配特殊字符
[1]. 代表除换行符以外的任意字符
letter = 'a b c d e f g h i j k A B C D E 1 2 3 4 5 , '
pattern = "."
res = re.findall(pattern, letter)
print(res)
# (2)\w 代表数字或者字母或下划线
letter = 'a b c d e f g h i j k A B C D E 1 2 3 4 5 , _ . ; % '
pattern = "\w"
res = re.findall(pattern, letter)
print(res)
# (3)\s 代表任意的空白符 ---> 空格
letter = 'a b c d e f g h i j k A B C D E 1 2 3 4 5 , _ . ; % '
pattern = "\s"
res = re.findall(pattern, letter)
print(res)
# (4)\d 只能匹配数字
letter = 'a b c d e f g h i j k A B C D E 1 2 3 4 5 , _ . ; % '
pattern = "\d"
res = re.findall(pattern, letter)
print(res)
# (5)\W 除了字母 或数字 或下滑线以外的任意字符
letter = 'a b c d e f g h i j k A B C D E 1 2 3 4 5 , _ . ; % '
pattern = "\W"
res = re.findall(pattern, letter)
print(res)
# (6)\n 只能匹配换行符
letter = '''
' a
b c
d e f g h i j k A B C D E
1 2 3 4 5 , _ . ; %
'''
pattern = "\n"
res = re.findall(pattern, letter)
print(res)
# (7)\t 制表符
letter = '''a b c d e f g h i j k A B C D E 1 2 3 4 5 , _ . ; % '''
pattern = "\t"
res = re.findall(pattern, letter)
print(res)
# (8)\b 匹配一个单词的结尾
# (9)^字符 以某个字符开头
letter = '''a b c d e f g h i j k A B C D E 1 2 3 4 5 , _ . ; %'''
pattern = "^a"
res = re.findall(pattern, letter)
print(res)
# (10) 字符$ 以某个字符结尾
letter = '''a b c d e f g h i j k A B C D E 1 2 3 4 5 , _ . ; %'''
pattern = "%$"
res = re.findall(pattern, letter)
print(res)
# (11)\D 匹配除数字以外的任意字符
letter = '''a b c d e f g h i j k A B C D E 1 2 3 4 5 , _ . ; %'''
pattern = "\D"
res = re.findall(pattern, letter)
print(res)
# (12)\S 匹配出了空格以外的所有字符
letter = '''a b c d e f g h
i j k A B C D E 1 2 3 4 5 , _ . ; %'''
pattern = "\S"
res = re.findall(pattern, letter)
print(res)
# (13) 字符|字符 匹配任意一个字符
letter = '''a b c d e f g h
i j k A B C D E 1 2 3 4 5 , _ . ; %'''
pattern = "a|b|1|%"
res = re.findall(pattern, letter)
print(res)
# (14) () 声明优先级
letter = '''a b c d e f g hi j k A B C D E 12 aa 34 5a , _ . ; %'''
pattern = "\d(\w)"
res = re.findall(pattern, letter)
print(res)
# (15)字符组[]
letter = '''a b c d e f g hi j k A B C D E 12 aa 34 5a , _ . ; %'''
pattern = "[a-z0-9A-Z][0-9]" # ['12', '34']
# pattern = "[a-z0-9A-Z][a-z]"
res = re.findall(pattern, letter)
print(res)
#(16)匹配除了字符组中字符的所有字符【有bag】
letter = '''a b c d e $f _g hi j k A B C D E 12 aa 34 5a , _ . ; %'''
# 匹配除了字符组中字符的所有字符
# $f _g hi 12 aa 34 5a#(首先是两位的)
pattern = "[^a-z0-9A-Z][0-9]"
res = re.findall(pattern, letter)
print(res)# [' 1', ' 3', ' 5']
【3】重复元组字符-----》 +* {} ?
ret2 = re.findall("[0-9a-zA-Z]", "apple,banana,orange,melon")#['a', 'p', 'p', 'l', 'e', 'b', 'a', 'n', 'a', 'n', 'a', 'o', 'r', 'a', 'n', 'g', 'e', 'm', 'e', 'l', 'o', 'n']
ret2 = re.findall("\w", "apple,banana,orange,melon")#['a', 'p', 'p', 'l', 'e', 'b', 'a', 'n', 'a', 'n', 'a', 'o', 'r', 'a', 'n', 'g', 'e', 'm', 'e', 'l', 'o', 'n']
ret2 = re.findall("\w+", "apple,banana,orange,melon")#['apple', 'banana', 'orange', 'melon']
ret2 = re.findall("\w+?", "apple,banana,orange,melon") # 取消贪婪匹配#['a', 'p', 'p', 'l', 'e', 'b', 'a', 'n', 'a', 'n', 'a', 'o', 'r', 'a', 'n', 'g', 'e', 'm', 'e', 'l', 'o', 'n']
ret2 = re.findall("\w*", "apple,banana,orange,melon")#['apple', '', 'banana', '', 'orange', '', 'melon', '']
ret2 = re.findall("\w{6}", "apple,banana,orange,melon")#['banana', 'orange']
#{}里面的6代表的是单词是六位的输出
【4】量词
量词 | 用法说明 |
---|---|
* | 重复零次或更多次 |
+ | 重复一次或更多次 |
? | 重复零次或一次 |
{n} | 重复n次 |
{n,} | 重复n次或更多次 |
{n,m} | 重复n到m次 |
(1)`*`重复零次或更多次
pattern = "[0-9][a-z]*" #数字开头
letter = '''a b c d e $f _g hi j k A B C D E 12 aa 34 5a 111 6cs 9nb 6aaaa , _ . ; %'''
res = re.findall(pattern, letter)
print(res)#['1', '2', '3', '4', '5a', '1', '1', '1', '6cs', '9nb', '6aaaa']
(2) + 代表当前字符重读一次或更多次
pattern = "[0-9][a-z]+" #数字开头后缀都要是字母
letter = '''a b c d e $f _g hi j k A B C D E 12 aa 34 5a 111 6cs 9nb 6aaaa , _ . ; %'''
res = re.findall(pattern, letter)
print(res)#['5a', '6cs', '9nb', '6aaaa']
(3)? 重复零次或一次
pattern = "[0-9][a-z]?" #数字开头,后缀只能有一个字母
letter = '''a b c d e $f _g hi j k A B C D E 12 aa 34 5a 111 6cs 9nb 6aaaa , _ . ; %'''
res = re.findall(pattern, letter)
print(res)#['1', '2', '3', '4', '5a', '1', '1', '1', '6c', '9n', '6a']
(4){n} 重复n次
pattern = "[0-9][a-z]{2}" #数字开头,后缀只能有两个字母
letter = '''a b c d e $f _g hi j k A B C D E 12 aa 34 5a 111 6cs 9nb 6aaaa , _ . ; %'''
res = re.findall(pattern, letter)
print(res)#['6cs', '9nb', '6aa']
(5){n,m} 重复至少n次 至多m次
pattern = "[0-9][a-z]{2,3}" #数字开头,后缀是两个字母结尾,或者三个字母结尾
letter = '''a b c d e $f _g hi j k A B C D E 12 aa 34 5a 111 6cs 9nb 6aaaa , _ . ; %'''
res = re.findall(pattern, letter)
print(res)#['6cs', '9nb', '6aaa']
【5】位置元字符. ^ $
正则 | 待匹配字符 | 匹配 结果 | 说明 |
---|---|---|---|
海. | 海燕海娇海东 | 海燕海娇海东 | 匹配所有"海."的字符 |
^海. | 海燕海娇海东 | 海燕 | 只从开头匹配"海." |
海.$ | 海燕海娇海东 | 海东 | 只匹配结尾的"海.$" |
import re
# . 代表任意字符
pattern = "海."#检测海这个字 后面只能跟一个字符
letter = '''海燕海娇海东海冬梅'''
res = re.findall(pattern, letter)
print(res)# ['海燕', '海娇', '海东', '海冬']
# . 代表任意字符
# ^ 以 ... 开头
pattern = "^海."#以海开头,并且后缀一个字符
letter = '''海燕海娇海东海冬梅'''
res = re.findall(pattern, letter)
print(res)# # ['海燕']
# # . 代表任意字符
# # $ 以 ... 结尾
pattern = "海.$"#最后一个字节只能是海后面跟一个字节否则返回[]
letter = '''海燕海娇海东海冬'''
res = re.findall(pattern, letter)
print(res)# ['海冬']
【6】重复匹配\* + ? { }
正则 | 待匹配字符 | 匹配 结果 | 说明 |
---|---|---|---|
李.? | 李杰和李莲英和李二棍子 | 李杰 李莲 李二 | ?表示重复零次或一次,即只匹配"李"后面一个任意字符 |
李.* | 李杰和李莲英和李二棍子 | 李杰和李莲英和李二棍子 | *表示重复零次或多次,即匹配"李"后面0或多个任意字符 |
李.+ | 李杰和李莲英和李二棍子 | 李杰和李莲英和李二棍子 | +表示重复一次或多次,即只匹配"李"后面1个或多个任意字符 |
李.{1,2} | 李杰和李莲英和李二棍子 | 李杰和 李莲英 李二棍 | {1,2}匹配1到2次任意字符 |
# . 代表任意字符
# ? 重复零次或一次
pattern = "李.?"#李后面重复一次或只有一个李
letter = '李 李杰李莲英和李二棍子'
res = re.findall(pattern, letter)
print(res)#['李 ', '李杰', '李莲', '李二']
# . 代表任意字符
# * 重复零次或更多次
pattern = "李.*"#李后面的字符全部打印
letter = '李杰李莲英和李二棍子'
res = re.findall(pattern, letter)
print(res)# ['李杰李莲英和李二棍子']
# . 代表任意字符
# + 重复一次或更多次
pattern = "李.+"#李后面的字符全部打印
letter = '李杰李莲英和李二棍子'
res = re.findall(pattern, letter)
print(res)# ['李杰李莲英和李二棍子']
# . 代表任意字符
# {m,n} 重复一次或更多次
pattern = "李.{2,3}"#匹配2到3次任意字符
letter = '李杰李莲英和李二棍子'
res = re.findall(pattern, letter)
print(res)# ['李杰李莲', '李二棍子']
# . 代表任意字符
# [] 字符组中的任意一个
pattern = "李[杰莲英二棍子]"#李后面跟字符组中的任意一个
letter = '李杰李莲英和李二棍子'
res = re.findall(pattern, letter)
print(res)# ['李杰', '李莲', '李二']
# . 代表任意字符
# [] 字符组中的任意一个
# ^和 除了和
# * 任意
pattern = "李[^和]*"#[^和]:意思是不要"和"这个字
letter = '李杰李莲英和李二棍子'
res = re.findall(pattern, letter)
print(res)# ['李杰李莲英', '李二棍子']
【7】字符集[][^]
正则 | 待匹配字符 | 匹配 结果 | 说明 |
---|---|---|---|
李[杰莲英二棍子]* | 李杰和李莲英和李二棍子 | 李杰 李莲英 李二棍子 | 表示匹配"李"字后面[杰莲英二棍子]的字符任意次 |
李[^和]* | 李杰和李莲英和李二棍子 | 李杰 李莲英 李二棍子 | 表示匹配一个不是"和"的字符任意次 |
[\d] | 456bdha3 | 4 5 6 3 | 表示匹配任意一个数字,匹配到4个结果 |
[\d]+ | 456bdha3 | 456 3 | 表示匹配任意个数字,匹配到2个结果 |
# # . 代表任意字符
# # [] 字符组中的任意一个
pattern = "李[杰莲英二棍子]"#李后面跟字符组中的任意一个
letter = '李杰李莲英和李二棍子'
res = re.findall(pattern, letter)
print(res)# ['李杰', '李莲', '李二']
# . 代表任意字符
# [] 字符组中的任意一个
# ^和 除了和
# * 任意
pattern = "李[^和]*"#[^和]:意思是不要"和"这个字
letter = '李杰李莲英和李二棍子'
res = re.findall(pattern, letter)
print(res)# ['李杰李莲英', '李二棍子']
【8】分组匹配()与 或 |[^]
-
身份证号码是一个长度为15或18个字符的字符串
-
如果是15位则全部🈶️数字组成,首位不能为0;
-
如果是18位,则前17位全部是数字,末位可能是数字或x,
-
下面我们尝试用正则来表示:
-
正则 | 待匹配字符 | 匹配 结果 | 说明 |
---|---|---|---|
^[1-9]\d{13,16}[0-9x]$ | 110101198001017032 | 110101198001017032 | 表示可以匹配一个正确的身份证号 |
^[1-9]\d{13,16}[0-9x]$ | 1101011980010170 | 1101011980010170 | 表示也可以匹配这串数字,但这并不是一个正确的身份证号码,它是一个16位的数字 |
^[1-9]\d{14}(\d{2}[0-9x])?$ | 1101011980010170 | False | 现在不会匹配错误的身份证号了 ()表示分组,将\d{2}[0-9x]分成一组,就可以整体约束他们出现的次数为0-1次 |
^([1-9]\d{16}[0-9x] | [1-9]\d{14})$ | 110105199812067023 | 110105199812067023 |
-
捕获选择
# | 指定原子或正则模式进行二选一或多选一
# () 具备模式捕获的能力,也就是优先提取数据的能力,通过(?:) 可以取消模式捕获
ret4 = re.findall(",\w{5},", ",apple,banana,peach,orange,melon,") # 筛选出5个字符的单词
ret4 = re.findall(",(\w{5}),", ",apple,banana,peach,orange,melon,") # 筛选出5个字符的单词
ret4 = re.findall("\w+@\w+\.com", "123abc@163.com,....234xyz@qq.com,....") # 筛选出5个字符的单词
ret4 = re.findall("(\w+)@qq\.com", "123abc@163.com,....234xyz@qq.com,....") # 筛选出5个字符的单词
ret4 = re.findall("(?:\w+)@(?:qq|163)\.com", "123abc@163.com,....234xyz@qq.com,....") # 筛选出5个字符的单词
print(ret4)
【9】贪婪匹配
-
贪婪匹配:在满足匹配时,匹配尽可能长的字符串,默认情况下,采用贪婪匹配
-
非贪婪匹配:在满足匹配时,匹配尽可能短的字符串
-
几个常用的非贪婪匹配,Pattern
import re
# . 代表任意字符
pattern = "李.*?" #*? 重复任意次,但尽可能少重复 #['李', '李', '李']
pattern = "李.+?" #+? 重复1次或更多次,但尽可能少重复 #['李杰', '李莲', '李二']
pattern = "李.??" #?? 重复0次或1次,但尽可能少重复 #['李', '李', '李']
pattern = "李.{2,3}?" #{n,m}? 重复n到m次,但尽可能少重复 #['李杰李', '李二棍']
letter = '李杰李莲英和李二棍子'
res = re.findall(pattern, letter)
print(res)
【10】方法
(1)findall(查找结果)
-
返回所有满足匹配条件的结果,放在列表里
name_str = "Dream yuan Justin"
pattern = 'a'
result = re.findall(pattern, name_str)
print(result)
# 结果 : ['a', 'a']
(2)search(查找结果)
-
只匹配到符合条件的一个字符
# 函数会在字符串内查找模式匹配,只到找到第一个匹配然后返回一个包含匹配信息的对象,该对象可以
# 通过调用group()方法得到匹配的字符串,如果字符串没有匹配,则返回None。
name_str = "Dream yuan Justin"
pattern = 'a'
result = re.search(pattern, name_str)
print(result) # <re.Match object; span=(3, 4), match='a'>#span=(3, 4)意思是a的位置在3,4的位置
result = re.search(pattern, name_str).group()
print(result) # 结果 : 'a'
(3)match(查找结果)
-
同search,不过尽在字符串开始处进行匹配
# 同search,不过尽在字符串开始处进行匹配
pattern = 'a'
result = re.match(pattern, 'abc')
print(result) # <re.Match object; span=(0, 1), match='a'>
result = re.match(pattern, 'abc').group()
print(result)
# 结果 : 'a'
(4)split(切割)
-
先按'a'分割得到''和'bcd',在对''和'bcd'分别按'b'分割
name_str = 'abcd'
# 先按'a'分割得到''和'bcd',在对''和'bcd'分别按'b'分割
pattern = '[ab]'
result = re.split(pattern, name_str)
print(result) # ['', '', 'cd']
(5)sub(指定个数替换)
-
默认替换所有匹配到的字符 可以用 count 控制替换次数
import re
name_str = 'eva3egon4yuan4'
# 将数字替换成'H',参数1表示只替换1个
# 默认替换所有匹配到的字符
result = re.sub('\d', 'H', name_str, 1)
print(result) # evaHegon4yuan4
(6)subn(全部替换)
-
替换匹配到的所有字符并返回 替换成功的字符和替换次数
import re
name_str = 'eva3egon4yuan4'
# 将数字替换成'H',返回元组(替换的结果,替换了多少次)
result = re.subn('\d', 'H', 'eva3egon4yuan4')
print(result) # ('evaHegonHyuanH', 3)
(7)compile(编译正则表达式)
-
预编译正则表达式
# 将正则表达式编译成为一个 正则表达式对象,规则要匹配的是3个数字
obj = re.compile('\d{3}')
print(obj)
# 正则表达式对象调用search,参数为待匹配的字符串
ret = obj.search('abc1234eeee')
print(ret.group()) # 结果 : 123
print(re.findall(obj, 'abc1234eeee'))
【11】正则方法之优先级
(1)findall的优先级查询
pattern = 'www.(baidu|oldboy).com'
pattern = re.compile(pattern)
data = 'www.oldboy.com'
ret = re.findall(pattern, data)
# 这是因为findall会优先把匹配结果组里内容返回,如果想要匹配结果,取消权限即可
print(ret) # ['oldboy']
ret = re.findall('www.(?:baidu|oldboy).com', 'www.baidu.com')
print(ret) #['www.baidu.com']
data= "<dd>弱者声嘶力竭,亦无人在乎,强者轻声细语,却能深入人心。一棵熊熊燃烧的天赋树,每一片叶子都承载着不同的灵纹,宗门被灭,沦为矿奴的陆叶凭此成为修士,搅动九州风云......</dd>"
pattern = '<dd>(.*)</dd>'
pattern = re.compile(pattern)
print(re.findall(pattern,data))#['弱者声嘶力竭,亦无人在乎,强者轻声细语,却能深入人心。一棵熊熊燃烧的天赋树,每一片叶子都承载着不同的灵纹,宗门被灭,沦为矿奴的陆叶凭此成为修士,搅动九州风云......']
(2)split的优先级查询
ret=re.split("\d+","eva3egon4yuan")
print(ret) #结果 : ['eva', 'egon', 'yuan']
ret=re.split("(\d+)","eva3egon4yuan")
print(ret) #结果 : ['eva', '3', 'egon', '4', 'yuan']
-
在匹配部分加上()之后所切出的结果是不同的,
-
没有()的没有保留所匹配的项,但是有()的却能够保留了匹配的项,
-
这个在某些需要保留匹配部分的使用过程是非常重要的。
【12】常用正则表达式
场景 | 正则表达式 |
---|---|
用户名 | ^[a-z0-9_-]{3,16}$ |
密码 | ^[a-z0-9_-]{6,18}$ |
手机号码 | ^(?:\+86)?1[3-9]\d{9}$ |
颜色的十六进制值 | ^#?([a-f0-9] |
电子邮箱 | ^[a-z\d]+(\.[a-z\d]+)*@([\da-z](-[\da-z])?)+\.[a-z]+$ |
URL | ^(?:https:// |
IP 地址 | ((2[0-4]\d |
HTML 标签 | ^<([a-z]+)([^<]+)*(?:>(.*)<\/\1> |
utf-8编码下的汉字范围 | ^[\u2E80-\u9FFF]+$ |