Python 正则表达式

廖雪峰教程和慕课网视频笔记

字符串是编程时涉及到的最多的一种数据结构，对字符串进行操作的需求几乎无处不在。比如判断一个字符串是否是合法的Email地址，虽然可以编程提取@前后的子串，再分别判断是否是单词和域名，但这样做不但麻烦，而且代码难以复用。

常用的匹配：

\d   匹配应该数字
\w   匹配一个字母或数字
.    可以匹配任意字符

*    >=0 个字符
+    >=1 个字符
?    0个或1个字符
{n}  表示n个字符
{n,m} 表示n-m个字符

\    对于特殊字符，可以用\转义

进阶：

# 要做更精确地匹配，可以用[]表示范围，比如：
[0-9a-zA-Z\_]可以匹配一个数字、字母或者下划线；

[0-9a-zA-Z\_]+可以匹配至少由一个数字、字母或者下划线组成的字符串，比如'a100'，'0_Z'，'Py3000'等等；

[a-zA-Z\_][0-9a-zA-Z\_]*可以匹配由字母或下划线开头，后接任意个由一个数字、字母或者下划线组成的字符串，也就是Python合法的变量；

[a-zA-Z\_][0-9a-zA-Z\_]{0, 19}更精确地限制了变量的长度是1-20个字符（前面1个字符+后面最多19个字符）。

A|B可以匹配A或B，所以(P|p)ython可以匹配'Python'或者'python'。

^表示行的开头，^\d表示必须以数字开头。

$表示行的结束，\d$表示必须以数字结束。

re模块：

有了准备知识，我们就可以在Python中使用正则表达式了。Python提供re模块，包含所有正则表达式的功能。由于Python的字符串本身也用\转义，所以要特别注意：

s = 'ABC\\-001' # Python的字符串
# 对应的正则表达式字符串变成：
# 'ABC\-001'

因此我们强烈建议使用Python的r前缀，就不用考虑转义的问题了：

s = r'ABC\-001' # Python的字符串
# 对应的正则表达式字符串不变：
# 'ABC\-001'

先看看如何判断正则表达式是否匹配：

match()方法判断是否匹配，如果匹配成功，返回一个Match对象，否则返回None。

>>> import re
>>> re.match(r'^\d{3}\-\d{3,8}$', '010-12345')
<_sre.SRE_Match object; span=(0, 9), match='010-12345'>
>>> re.match(r'^\d{3}\-\d{3,8}$', '010 12345')
>>>

切分字符串：

用正则表达式切分字符串比用固定地字符更灵活，请看正常地切分代码：

'a b   c'.split(' ')
['a','b','','','c']

嗯，无法识别连续地空格，用正则表达式试试：

re.split(r'\s+','a b   c')
['a','b','c']

# 识别空格或者，
re.split(r'[\s\,]','a,b, c d')
['a','b','c','d']

分组：

除了简单地判断是否匹配之外，正则表达式还有提取子串的强大功能。用()表示的就是要提取的分组（Group）。比如：

^(\d{3})-(\d{3,8})$分别定义了两个组，可以直接从匹配的字符串中提取出区号和本地号码：

>>> m = re.match(r'^(\d{3})-(\d{3,8})$', '010-12345')
>>> m
<_sre.SRE_Match object; span=(0, 9), match='010-12345'>
>>> m.group(0)
'010-12345'
>>> m.group(1)
'010'
>>> m.group(2)
'12345'

如果正则表达式中定义了组，就可以在Match对象上用group()方法提取出子串来。

注意到group(0)永远是原始字符串，group(1)、group(2)……表示第1、2、……个子串。

另一个实例：

str1 = 'imooc python'
pa = re.compile(r'(imooc)',re.I)
ma = pa.match(str1)
ma.groups()
('imooc',)

贪婪匹配：

最后需要特别指出的是，正则匹配默认是贪婪匹配，也就是匹配尽可能多的字符。举例如下，匹配出数字后面的0：

>>> re.match(r'^(\d+)(0*)$', '102300').groups()
('102300', '')

由于\d+采用贪婪匹配，直接把后面的0全部匹配了，结果0*只能匹配空字符串了。

必须让\d+采用非贪婪匹配（也就是尽可能少匹配），才能把后面的0匹配出来，加个?就可以让\d+采用非贪婪匹配：

>>> re.match(r'^(\d+?)(0*)$', '102300').groups()
('1023', '00')

编译：

当我们在Python中使用正则表达式时，re模块内部会干两件事情：

编译正则表达式，如果正则表达式的字符串本身不合法，会报错；

用编译后的正则表达式去匹配字符串。

如果一个正则表达式要重复使用几千次，出于效率的考虑，我们可以预编译该正则表达式，接下来重复使用时就不需要编译这个步骤了，直接匹配：

>>> import re
# 编译:
>>> re_telephone = re.compile(r'^(\d{3})-(\d{3,8})$')
# 使用：
>>> re_telephone.match('010-12345').groups()
('010', '12345')
>>> re_telephone.match('010-8086').groups()
('010', '8086')

编译后生成Regular Expression对象，由于该对象自己包含了正则表达式，所以调用对应的方法时不用给出正则字符串。

---

1.基础知识

• 正则表达式基本概念
• python正则表达式re模块
• 正则表达式语法
• re模块相关方法使用

正则表达式主要用于字符串匹配。

#匹配一个下划线和字母开头的变量名（利用字符串方法）

a = '_vaule1'
a and (a[0]=='_' or 'a' <= a[0] <= 'Z') #判断a是否为空，且是否以_或字母开头

每一次匹配都要单独完成，我们能否把他做成一个规则。（于是考虑正则表达式）

正则表达式：

• 使用单个字符来描述匹配一系列符合某个句法规则的字符串。
• 是对字符串操作的一种逻辑公式。
• 应用场景：处理文本和数据。
• 正则表达式过程：依次拿出表达式和文本中的字符比较，如果每一个字符都能匹配，则匹配成功；否则匹配失败。

2.正则表达式re模块：

import re：python正则表达式模块。

re 模块使 Python 语言拥有全部的正则表达式功能。

compile 函数根据一个模式字符串和可选的标志参数生成一个正则表达式对象。该对象拥有一系列方法用于正则表达式匹配和替换。

第一个正则表达式：

import re

r'imooc'
re.compile(r'imooc')            #Pattern  生成一个pattern匹配对象(生成一个参照模版)
pattern.match('imooc python')   #Match   去匹配imooc python，生成一个Match对象
result

实例代码：

import re

str1 = 'imooc python'
pa = re.compile(r'imooc')   #匹配的字符，生成pattern对象
ma = pa.match(str1)         #被匹配的字符，生成match对象
ma.group()                  #返回匹配的字符结果
'imooc'
ma.span()                   #被匹配字符串所在索引位置
（0，5）
ma.string()                 #返回被匹配字符串
'imooc python'

简化匹配过程：

pa=re.compile(r'imooc',re.I)  #re的用法是忽略匹配字符串中的大小写
ma=pa.match(str1）#生成pa.match的实例对象

这两步等价于 ma=re.match(r'imooc',str1)

简化的过程，比较好理解，但是这种一般适用于匹配一次，如果匹配多次还是使用re.compile（）生成一个Pattern最好。

3.正则表达式语法：

.        匹配任意字符（除了\n）
[...]    匹配字符集其中一个
\d/\D    匹配数字/非数字
\s/\S    匹配空白/非空白字符
\w/\W    匹配单词字符[a-z A-Z 0-9]/非单词字符

*           匹配前一个字符0次或者无限次
+           匹配前一个字符1次或者无限次
？          匹配前一个字符0次或者1次
{m} / {m,n} 匹配前一个字符m次或者m-n次
*？/+？/？？ 匹配模式变为非贪婪（尽可能少匹配字符）

import re

ma = re.match(r'[A-Z][a-z]*','Aa1')
ma.group()
'Aa'         #只匹配Aa，1不匹配

# 匹配合法的变量名（字母、数字、下划线）
ma = re.match(r'[_a-zA-Z]+[_\w]*','_htll')
ma.group()
'_htll'

[1-9]?[0-9]   #这个就可以匹配0-99任意一个数字
ma = re.match(r'[1-9]?[0-9]','09')
ma.group()    #也可以，不过只会匹配0
'0'

{m}/{m,n}    #可以匹配邮箱
ma = re.match(r'[a-zA-Z0-9]{6}','abc123')
ma.group()
'abc123'

#匹配的字符串个数必须是6个
ma = re.match(r'[a-zA-Z0-9]{6}@163.com','abc123@163.com')
#匹配的个数是之间6-10个
ma = re.match(r'[a-zA-Z0-9]{6，10}@163.com','abc123@163.com')

# 贪婪模式与非贪婪模式
ma = re.match(r'[0-9][a-z]*','1bc')
ma.group()
'1bc'
ma = re.match(r'[0-9][a-z]*?','1bc')
ma.group()
'1'

边界匹配：

^           匹配字符串开头
$         匹配字符串结尾
\A/\Z       指定的字符串必须出现在开头/结尾

#下面匹配是有效的
ma = re.match(r'^[a-zA-Z0-9]{6，10}@163.com$','abc123@163.com')
#下面匹配是无效的，如果不加$的话，匹配结果不会报错，会返回'abc123@163.com'
ma = re.match(r'^[a-zA-Z0-9]{6，10}@163.com$','abc123@163.com123abc')

#下面是匹配必须以imooc开头的
ma = re.match(r'\Aimooc[\w]*','imooc123abc')

分组匹配：

|            匹配左右任意一个表达式（例如r'abc|d'）
(ab)         括号中表达式作为一个分组
\<number>    引用编号为num的分组匹配到的字符串
(?P<name>)   分组起一个别名
(?P=name)    引用别买为name的分组匹配字符串

ma = re.match(r'abc|d','abc')

#匹配0-99任意一个数字，？匹配前一个字符0次或者1次，\d匹配数字，$匹配字符串结尾，[0-9]就等同于\d
ma = re.match(r'[1-9]?\d$','99')
#匹配0-100
ma = re.match(r'[1-9]?\d$|100','99')

ma = re.match(r'[\w]{4,6}@163.com','imooc@163.com')
#下面是匹配163@com,或126@com  (163|126)就是分组
ma = re.match(r'[\w]{4,6}@(163|126).com','imooc@163.com')

ma = re.match(r'<[\w]+>','<book>')
ma.group()
'<book>'

ma = re.match(r'<([\w]+>)[\w]+</\1','<book>python</book>')
ma.group()
'<book>python</book>'

4.re模块相关方法使用

re模块常用方法：

• search 在一个字符串中查找匹配
• findall 找到匹配，返回所有匹配部分的列表
• sub 将字符串中正则表达式的部分替换成其他值
• split 根据匹配分割字符串，返回分割字符串组成的列表

附注：match（）函数只检测RE是不是在string的开始位置匹配， search()会扫描整个string查找匹配；也就是说match（）只有在0位置匹配成功的话才有返回。
1.re.match() 从第一个字符开始找, 如果第一个字符就不匹配就返回None, 不继续匹配. 用于判断字符串开头或整个字符串是否匹配,速度快.
2.re.search() 会整个字符串查找,直到找到一个匹配。

str2 ='c++=100,java=90,python=80'

# re.search()方法
info =re.search(r'\d+',str2)
info.group()
'100'

# re.findall()方法
info =re.findall(r'\d+',str2)
info
['100', '90', '80']

# 求和
sum([int(x) for x in info])
270

# re.sub()方法
info = re.sub(r'\d','101',str2)

# re.split()方法[:或者 空格 或者, 都可以分割开]
str2 = 'imooc:C++ C Java,Python'
info5 = re.split(r':| |,', str2)
['c++=100','java=90','python=80']

5.正则表达式使用实例

抓取网站图片：

python3代码

import re

from urllib import request

url = 'https://www.imooc.com/course/list' 

html = request.urlopen(url).read().decode('utf-8')

listurl = re.findall(r'src=.+\.jpg',html)

for i in range(len(listurl)):

    listurl[i] = re.sub(r'src="','',listurl[i])        #把src="去掉

i = 1

for url in listurl:

    f = open('E:\\test\\imooc\\scrap\\data\\'+str(i)+'.jpg','wb+')

    html = request.urlopen('https:'+url).read()    #必须要加上https:

    f.write(html)

    f.close()

    i += 1