第三讲 正则表达式

一、为什么要学正则表达式

我们在之前的案例里实际上省略了第 3 步，也就是"取"的步骤。因为我们保存的数据是全部的网页，这些数据很庞大并且很混乱，大部分的东西是我们不关心的，因此我们需要将之按我们的需要过滤和匹配出来。
那么对于文本的过滤或者规则的匹配，最强大的就是正则表达式，是 Python 爬虫世界里必不可少的神兵利器。

二、基础正则表达式语法

正则表达式，又称规则表达式，通常被用来检索、替换那些符合某个模式(规则)的文本。正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。
给定一个正则表达式和另一个字符串，我们可以达到如下的目的：
(1) 给定的字符串是否符合正则表达式的过滤逻辑(“匹配”)；
(2) 通过正则表达式，从文本字符串中获取我们想要的特定部分(“过滤”)。
正则表达式是由普通字符和特殊字符(元字符)组成的文字模式

使用re模块进行正则匹配。
使用步骤：

三、元字符

1、匹配边界

• $-----行尾
• ^----行首

2、重复次数

• ? ----0或1
• + ---->=1
• * ----->=0
• {n}-----n次
• {n,}----->=n
• {n,m}-----n>=,<=m

3、单词字符

• .-----匹配除换行符以外的任意字符
• \b—单词边界
• \d—数字
• \w----数字，字母，下划线
• \s—空白字符
• [a-z]—单个字符

上述只列了比较常用的元字符，有兴趣的可以查看其他文章学习更多正则表达式的用法。

四、正则表达式的匹配方法

这里写了几个简单的案例，可以复制运行一下，这些代码只是演示一下正则表达式的效果，并不完全符合要求，请谅解

"""
正则表达式演示
"""
import re

# 非负整数
# pattern = re.compile(r'^\d+$')
# content = '121'
# m = pattern.match(content)
# print(m)

# 正整数
# pattern = re.compile(r'[1-9]\d*$')
# content = '1230'
# m = pattern.match(content)
# print(m)

# 非正整数
# pattern = re.compile(r'[-]\d+$|0$')
# content = '-111'
# m = pattern.match(content)
# print(m)

# 非负浮点数
# pattern = re.compile(r'^\d+\.\d+$')
# content = '1.01'
# m = pattern.match(content)
# print(m)

# 整数
# pattern = re.compile(r'[-]?\d+$')
# content = '-12'
# m = pattern.match(content)
# print(m)

# 长度为8-10的用户密码（以字母开头、数字、下划线）
# pattern = re.compile(r'^[a-z]\w{7,9}$', re.I)
# content = 'a12A3456_A'
# m = pattern.match(content)
# print(m)

# qq邮箱验证 格式规定数字6-11位+@+qq.com
# pattern = re.compile(r'^\d{6,11}@qq.com')
# content = '123456789@qq.com'
# m = pattern.match(content)
# print(m)

# 匹配出wahaer，banaer，qqxier内容
# pattern = re.compile(r'[wbq][aq][hnx][ai]er')
# content = '24sdfwahaer,banaer,qqxierere2'
# m = pattern.findall(content)
# print(m)

# 11位的电话号码
# pattern = re.compile(r'^(138|178|135)\d{8}$')
# content = '13806232423'
# m = pattern.match(content)
# print(m)

# 匹配年月日日期 格式2018-02-6
# pattern = re.compile(r'^([1-2]\d{3})-(0?[1-9]|1[0-2])-(0?[1-9]|[1-2][0-9]|3[0-1])$')
# content = '2018-12-31'
# m = pattern.search(content)
# print(m)

运行时把想要执行的代码注释去掉，注意不要去掉中文注释。

贪婪模式和非贪婪模式

源字符串：

aa<div>test1</div>bb<div>test2</div>cc

使用贪婪的数量词的正则表达式：

<div>.*</div>

匹配结果：

<div>test1</div>bb<div>test2</div>

解析：这里采用的是贪婪模式。在匹配到第一个“</div>”时已经可以使整个表达式匹配成功，但是由于采用的是贪婪模式，所以仍然要向右尝试匹配，查看是否还有更长的可以成功匹配的子串。匹配到第二个“</div>”后，向右再没有可以成功匹配的子串，匹配结束，匹
配结果为“<div>test1</div>bb<div>test2</div>”
使用非贪婪的数量词的正则表达式：

<div>.*?</div>

匹配结果：

<div>test1</div>

解析：正则表达式二采用的是非贪婪模式，在匹配到第一个“</div>”时使整个表达式匹配成功，由于采用的是非贪婪模式，所以结束匹配，不再向右尝试，匹配结果为“<div>test1</div>”。
如何将正则表达式应用到爬虫中，请参考第三讲案例。
https://blog.csdn.net/lxd1908717401/article/details/107287763

感谢各位耐心的阅读！