(0, 41)
可以看到, group
方法输出了匹配的全部字符串,也就是说我们写的正则表达式匹配到了目标字符串的全部内容; span
方法输出 (0, 41)
,这是整个字符串的长度。
因此,我们可以使用 .*
简化正则表达式的书写。
贪婪与非贪婪
使用上面的通用匹配 .*
时,可能有时候匹配到的并不是我们想要的结果。看下面的例子:
import re
content = ‘Hello 1234567 World_This is a Regex Demo’
result = re.match(‘^He.*(\d+).*Demo$’, content)
print(result)
print(result.group(1))
这里我们依然想获取中间的数字,所以中间依然写的是 (\d+)
。而数字两侧由于内容比较杂乱,所以想省略来写,都写成 .*
。最后,组成 ^He.*(\d+).*Demo$
,看样子并没有什么问题。我们看下运行结果:
<_sre.SRE_Match object; span=(0, 40), match=‘Hello 1234567 World_This is a Regex Demo’>
7
奇怪的事情发生了,我们只得到了 7 这个数字,这是怎么回事呢?
这里就涉及贪婪匹配与非贪婪匹配的问题了。在贪婪匹配下, .*
会匹配尽可能多的字符。正则表达式中 .*
后面是 \d+
,也就是至少一个数字,并没有指定具体多少个数字,因此, .*
就尽可能匹配多的字符,这里就把 123456
匹配了,给 \d+
留下一个可满足条件的数字 7,最后得到的内容就只有数字 7 了。
但这很明显会给我们带来很大的不便。有时候,匹配结果会莫名其妙少了一部分内容。其实,这里只需要使用非贪婪匹配就好了。非贪婪匹配的写法是 .*?
,多了一个 ?
,那么它可以达到怎样的效果?我们再用实例看一下:
import re
content = ‘Hello 1234567 World_This is a Regex Demo’
result = re.match(‘^He.*?(\d+).*Demo$’, content)
print(result)
print(result.group(1))
这里我们只是将第一个 .*
改成了 .*?
,转变为非贪婪匹配。结果如下:
<_sre.SRE_Match object; span=(0, 40), match=‘Hello 1234567 World_This is a Regex Demo’>
1234567
此时就可以成功获取 1234567
了。原因可想而知,贪婪匹配是尽可能匹配多的字符,非贪婪匹配就是尽可能匹配少的字符。当 .*?
匹配到 Hello
后面的空白字符时,再往后的字符就是数字了,而 \d+
恰好可以匹配,那么这里 .*?
就不再进行匹配,交给 \d+
去匹配后面的数字。所以这样 .*?
匹配了尽可能少的字符, \d+
的结果就是 1234567
了。
所以说,在做匹配的时候,字符串中间尽量使用非贪婪匹配,也就是用 .*?
来代替 .*
,以免出现匹配结果缺失的情况。
但这里需要注意,如果匹配的结果在字符串结尾, .*?
就有可能匹配不到任何内容了,因为它会匹配尽可能少的字符。例如:
import re
content = ‘http://weibo.com/comment/kEraCN’
result1 = re.match(‘http.*?comment/(.*?)’, content)
result2 = re.match(‘http.*?comment/(.*)’, content)
print(‘result1’, result1.group(1))
print(‘result2’, result2.group(1))
运行结果如下:
result1
result2 kEraCN
可以观察到, .*?
没有匹配到任何结果,而 .*
则尽量匹配多的内容,成功得到了匹配结果。
修饰符
正则表达式可以包含一些可选标志修饰符来控制匹配模式。修饰符被指定为一个可选的标志。我们用实例来看一下:
import re
content = ‘’'Hello 1234567 World_This
is a Regex Demo
‘’’
result = re.match(‘^He.*?(\d+).*?Demo$’, content)
print(result.group(1))
和上面的例子相仿,我们在字符串中加了换行符,正则表达式还是一样的,用来匹配其中的数字。看一下运行结果:
AttributeError Traceback (most recent call last)
in ()
5 ‘’’
6 result = re.match(‘^He.*?(\d+).*?Demo$’, content)
----> 7 print(result.group(1))
AttributeError: ‘NoneType’ object has no attribute ‘group’
运行直接报错,也就是说正则表达式没有匹配到这个字符串,返回结果为 None
,而我们又调用了 group
方法导致 AttributeError
。
那么,为什么加了一个换行符,就匹配不到了呢?这是因为。匹配的是除换行符之外的任意字符,当遇到换行符时, .*?
就不能匹配了,所以导致匹配失败。这里只需加一个修饰符 re.S
,即可修正这个错误:
result = re.match(‘^He.*?(\d+).*?Demo$’, content, re.S)
这个修饰符的作用是使。匹配包括换行符在内的所有字符。此时运行结果如下:
这个 re.S
在网页匹配中经常用到。因为 HTML 节点经常会有换行,加上它,就可以匹配节点与节点之间的换行了。
另外,还有一些修饰符,在必要的情况下也可以使用,如表 2- 所示。
表 2- 修饰符及其描述
| 修饰符 | 描述 |
| — | — |
| re.I
| 使匹配对大小写不敏感 |
| re.L
| 做本地化识别(locale-aware)匹配 |
| re.M
| 多行匹配,影响 ^
和 $
|
| re.S
| 使。匹配包括换行符在内的所有字符 |
| re.U
| 根据 Unicode 字符集解析字符。这个标志影响 \w
、 \W
、 \b
和 \B
|
| re.X
| 该标志通过给予你更灵活的格式以便你将正则表达式写得更易于理解 |
在网页匹配中,较为常用的有 re.S
和 re.I
。
转义匹配
我们知道正则表达式定义了许多匹配模式,如 .
匹配除换行符以外的任意字符,但是如果目标字符串里面就包含 .
,那该怎么办呢?
这里就需要用到转义匹配了,示例如下:
import re
content = ‘(百度) www.baidu.com’
result = re.match(‘\(百度 \) www\.baidu\.com’, content)
print(result)
当遇到用于正则匹配模式的特殊字符时,在前面加反斜线转义一下即可。例如可以用 \.
来匹配 .
,运行结果如下:
<_sre.SRE_Match object; span=(0, 17), match=‘(百度) www.baidu.com’>
可以看到,这里成功匹配到了原字符串。
这些是写正则表达式常用的几个知识点,熟练掌握它们对后面写正则表达式非常有帮助。
3. search
前面提到过, match
方法是从字符串的开头开始匹配的,一旦开头不匹配,那么整个匹配就失败了。我们看下面的例子:
import re
content = ‘Extra stings Hello 1234567 World_This is a Regex Demo Extra stings’
result = re.match(‘Hello.*?(\d+).*?Demo’, content)
print(result)
这里的字符串以 Extra
开头,但是正则表达式以 Hello
开头,整个正则表达式是字符串的一部分,但是这样匹配是失败的。运行结果如下:
None
因为 match
方法在使用时需要考虑到开头的内容,这在做匹配时并不方便。它更适合用来检测某个字符串是否符合某个正则表达式的规则。
这里就有另外一个方法 search
,它在匹配时会扫描整个字符串,然后返回第一个成功匹配的结果。也就是说,正则表达式可以是字符串的一部分,在匹配时, search
方法会依次扫描字符串,直到找到第一个符合规则的字符串,然后返回匹配内容,如果搜索完了还没有找到,就返回 None
。
我们把上面代码中的 match
方法修改成 search
,再看一下运行结果:
<_sre.SRE_Match object; span=(13, 53), match=‘Hello 1234567 World_This is a Regex Demo’>
1234567
这时就得到了匹配结果。
因此,为了匹配方便,我们可以尽量使用 search
方法。
下面再用几个实例来看看 search
方法的用法。
首先,这里有一段待匹配的 HTML 文本,接下来写几个正则表达式实例来实现相应信息的提取:
html = ‘’’
经典老歌
经典老歌列表
- 一路上有你
- 光辉岁月
- 记事本
-
‘’’
可以观察到,
ul
节点里有许多li
节点,其中li
节点中有的包含a
节点,有的不包含a
节点,a
节点还有一些相应的属性 —— 超链接和歌手名。首先,我们尝试提取
class
为active
的li
节点内部的超链接包含的歌手名和歌名,此时需要提取第三个li
节点下a
节点的singer
属性和文本。此时正则表达式可以以
li
开头,然后寻找一个标志符active
,中间的部分可以用.*?
来匹配。接下来,要提取singer
这个属性值,所以还需要写入singer="(.*?)"
,这里需要提取的部分用小括号括起来,以便用group
方法提取出来,它的两侧边界是双引号。然后还需要匹配a
节点的文本,其中它的左边界是>
,右边界是</a>
。然后目标内容依然用(.*?)
来匹配,所以最后的正则表达式就变成了:<li.*?active.*?singer=“(.*?)”>(.*?)
然后再调用
search
方法,它会搜索整个 HTML 文本,找到符合正则表达式的第一个内容返回。另外,由于代码有换行,所以这里第三个参数需要传入
re.S
。整个匹配代码如下:result = re.search(‘<li.*?active.*?singer=“(.*?)”>(.*?)’, html, re.S)
if result:
print(result.group(1), result.group(2))
由于需要获取的歌手和歌名都已经用小括号包围,所以可以用
group
方法获取。运行结果如下:
齐秦 往事随风
可以看到,这正是
class
为active
的li
节点内部的超链接包含的歌手名和歌名。如果正则表达式不加
active
(也就是匹配不带class
为active
的节点内容),那会怎样呢?我们将正则表达式中的active
去掉,代码改写如下:result = re.search(‘<li.*?singer=“(.*?)”>(.*?)’, html, re.S)
if result:
print(result.group(1), result.group(2))
由于
search
方法会返回第一个符合条件的匹配目标,这里结果就变了:任贤齐 沧海一声笑
把
active
标签去掉后,从字符串开头开始搜索,此时符合条件的节点就变成了第二个li
节点,后面的就不再匹配,所以运行结果就变成第二个li
节点中的内容了。注意,在上面的两次匹配中,
search
方法的第三个参数都加了re.S
,这使得.*?
可以匹配换行,所以含有换行符的li
节点被匹配到了。如果我们将其去掉,结果会是什么?代码如下:result = re.search(‘<li.*?singer=“(.*?)”>(.*?)’, html)
if result:
print(result.group(1), result.group(2))
运行结果如下:
beyond 光辉岁月
可以看到,结果变成了第四个
li
节点的内容。这是因为第二个和第三个li
节点都包含了换行符,去掉re.S
之后,.*?
已经不能匹配换行符,所以正则表达式不会匹配到第二个和第三个li
节点,而第四个li
节点中不包含换行符,所以成功匹配。由于绝大部分的 HTML 文本都包含了换行符,所以尽量都需要加上
re.S
修饰符,以免出现匹配不到的问题。4.
findall
前面我们介绍了
search
方法的用法,它可以返回匹配正则表达式的第一个内容,但是如果想要获取匹配正则表达式的所有内容,那该怎么办呢?这时就要借助findall
方法了。该方法会搜索整个字符串,然后返回匹配正则表达式的所有内容。还是上面的 HTML 文本,如果想获取所有
a
节点的超链接、歌手和歌名,就可以将search
方法换成findall
方法。如果有返回结果的话,就是列表类型,所以需要遍历一下来依次获取每组内容。代码如下:results = re.findall(‘<li.*?href=“(.*?)”.*?singer=“(.*?)”>(.*?)’, html, re.S)
print(results)
print(type(results))
for result in results:
print(result)
print(result[0], result[1], result[2])
运行结果如下:
[(‘/2.mp3’, ’ 任贤齐 ‘, ’ 沧海一声笑 ‘), (’/3.mp3’, ’ 齐秦 ‘, ’ 往事随风 ‘), (’/4.mp3’, ‘beyond’, ’ 光辉岁月 ‘), (’/5.mp3’, ’ 陈慧琳 ‘, ’ 记事本 ‘), (’/6.mp3’, ’ 邓丽君 ', ’ 但愿人长久 ')]
<class ‘list’>
(‘/2.mp3’, ’ 任贤齐 ', ’ 沧海一声笑 ')
/2.mp3 任贤齐 沧海一声笑
(‘/3.mp3’, ’ 齐秦 ', ’ 往事随风 ')
/3.mp3 齐秦 往事随风
(‘/4.mp3’, ‘beyond’, ’ 光辉岁月 ')
/4.mp3 beyond 光辉岁月
(‘/5.mp3’, ’ 陈慧琳 ', ’ 记事本 ')
/5.mp3 陈慧琳 记事本
(‘/6.mp3’, ’ 邓丽君 ', ’ 但愿人长久 ')
/6.mp3 邓丽君 但愿人长久
可以看到,返回的列表中的每个元素都是元组类型,我们用对应的索引依次取出即可。
如果只是获取第一个内容,可以用
search
方法。当需要提取多个内容时,可以用findall
方法。5.
sub
除了使用正则表达式提取信息外,有时候还需要借助它来修改文本。比如,想要把一串文本中的所有数字都去掉,如果只用字符串的
replace
方法,那就太烦琐了,这时可以借助sub
方法。示例如下:import re
content = ‘54aK54yr5oiR54ix5L2g’
content = re.sub(‘\d+’, ‘’, content)
print(content)
运行结果如下:
aKyroiRixLg
这里只需要给第一个参数传入
\d+
来匹配所有的数字,第二个参数为替换成的字符串(如果去掉该参数的话,可以赋值为空),第三个参数是原字符串。在上面的 HTML 文本中,如果想获取所有
li
节点的歌名,直接用正则表达式来提取可能比较烦琐。比如,可以写成这样子:results = re.findall(‘<li.*?>\s*?(<a.*?>)?(\w+)()?\s*?’, html, re.S)
for result in results:
print(result[1])
运行结果如下:
一路上有你
沧海一声笑
往事随风
光辉岁月
记事本
但愿人长久
最后
Python崛起并且风靡,因为优点多、应用领域广、被大牛们认可。学习 Python 门槛很低,但它的晋级路线很多,通过它你能进入机器学习、数据挖掘、大数据,CS等更加高级的领域。Python可以做网络应用,可以做科学计算,数据分析,可以做网络爬虫,可以做机器学习、自然语言处理、可以写游戏、可以做桌面应用…Python可以做的很多,你需要学好基础,再选择明确的方向。这里给大家分享一份全套的 Python 学习资料,给那些想学习 Python 的小伙伴们一点帮助!
👉Python所有方向的学习路线👈
Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。
👉Python必备开发工具👈
工欲善其事必先利其器。学习Python常用的开发软件都在这里了,给大家节省了很多时间。
👉Python全套学习视频👈
我们在看视频学习的时候,不能光动眼动脑不动手,比较科学的学习方法是在理解之后运用它们,这时候练手项目就很适合了。
👉实战案例👈
学python就与学数学一样,是不能只看书不做题的,直接看步骤和答案会让人误以为自己全都掌握了,但是碰到生题的时候还是会一筹莫展。
因此在学习python的过程中一定要记得多动手写代码,教程只需要看一两遍即可。
👉大厂面试真题👈
我们学习Python必然是为了找到高薪的工作,下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料,并且有阿里大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的工作。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!