python正则表达式详解

前言正则表达式是一个特殊的字符序列，用来判断一个字符串与我们所设定的字符序列是否相匹配。实现快速检索文本和一些替换文本的操作。
在Python中我们有专门的正则表达式模块re，re 模块使 Python 语言拥有全部的正则表达式功能。compile 函数根据一个模式字符串和可选的标志参数生成一个正则表达式对象。该对象拥有一系列方法用于正则表达式匹配和替换。re 模块也提供了与这些方法功能完全一致的函数，这些函数使用一个模式字符串做为它们的第一个参数。

一.常见函数

1.re.match
re.match 尝试从字符串的起始位置匹配一个模式，如果不是起始位置匹配成功的话，match()就返回none。
*函数语法：*re.match(pattern, string, flags=0)
函数参数说明：
pattern 匹配的正则表达式
string 要匹配的字符串。
flags 标志位，用于控制正则表达式的匹配方式，如：是否区分大小写，多行匹配等等。
匹配成功re.match方法返回一个匹配的对象，否则返回None。

可以使用group(num) 或 groups() 匹配对象函数来获取匹配表达式。
group(num=0) 匹配的整个表达式的字符串，group() 可以一次输入多个组号，在这种情况下它将返回一个包含那些组所对应值的元组。
groups() 返回一个包含所有小组字符串的元组，从 1 到 所含的小组号。
例：

import re
re.match(r'l','liuyan1').group()  #返回l
re.match(r'y','liuyan1')  #返回None

2.re.search
re.search 扫描整个字符串并返回第一个成功的匹配。
函数语法： re.search(pattern, string, flags=0)
函数参数说明：
pattern 匹配的正则表达式
string 要匹配的字符串。
flags 标志位，用于控制正则表达式的匹配方式，如：是否区分大小写，多行匹配等等。
匹配成功re.search方法返回一个匹配的对象，否则返回None。
例：

import re
re.search(r'y','liuyan1').group() #返回y

3.re.findall
在字符串中找到正则表达式所匹配的所有子串，并返回一个列表，如果没有找到匹配的，则返回空列表。(注意： match 和 search 是匹配一次 findall 匹配所有)
函数语法：
findall(string[, pos[, endpos]])
参数：
string 待匹配的字符串。
pos 可选参数，指定字符串的起始位置，默认为 0。
endpos 可选参数，指定字符串的结束位置，默认为字符串的长度。
例：

import re
a='C55C++66Java77C#88Python99Javascript'
print(re.findall('\d',a))
#运行结果：['5', '5', '6', '6', '7', '7', '8', '8', '9', '9']

**4.检索和替换**Python 的re模块提供了re.sub用于替换字符串中的匹配项。
语法： re.sub(pattern, repl, string, count=0)
参数：
pattern : 正则中的模式字符串。
repl : 替换的字符串，也可为一个函数。
string : 要被查找替换的原始字符串。
count : 模式匹配后替换的最大次数，默认 0 表示替换所有的匹配。
例：

import re

phone = "2004-959-559 # 这是一个电话号码"
# 删除注释
num = re.sub(r'#.*$', "", phone)
print ("电话号码 : ", num)
# 移除非数字的内容
num = re.sub(r'\D', "", phone)
print ("电话号码 : ", num)
#运行结果：
#电话号码 :  2004-959-559 
#电话号码 :  2004959559

5.compile 函数
compile 函数用于编译正则表达式，生成一个正则表达式（ Pattern ）对象，供 match() 和 search() 这两个函数使用。
语法： re.compile(pattern[, flags])
参数：
pattern : 一个字符串形式的正则表达式
flags 可选，表示匹配模式，比如忽略大小写，多行模式等，具体参数为：
re.I 忽略大小写
re.L 表示特殊字符集 \w, \W, \b, \B, \s, \S 依赖于当前环境
re.M 多行模式
re.S 即为’ . ‘并且包括换行符在内的任意字符（’ . ‘不包括换行符）
re.U 表示特殊字符集 \w, \W, \b, \B, \d, \D, \s, \S 依赖于 Unicode 字符属性数据库
re.X 为了增加可读性，忽略空格和’ # ‘后面的注释
例：

import re
pattern = re.compile(r'\d+')               # 用于匹配至少一个数字
m = pattern.match('one12twothree34four') # 查找头部，没有匹配
print(m)
#运行结果 None
m = pattern.match('one12twothree34four',2,10)# 从'e'的位置开始匹配，没有匹配
print(m)
#运行结果 None
m = pattern.match('one12twothree34four', 3, 10) # 从'1'的位置开始匹配，正好匹配
print(m)                              # 返回一个 Match 对象
#运行结果：<_sre.SRE_Match object at 0x10a42aac0>

6.re.split
按照能够匹配的子串将字符串分割后返回列表，它的使用形式如下：
re.split(pattern, string[, maxsplit=0, flags=0])
参数：
pattern 匹配的正则表达式
string 要匹配的字符串。
maxsplit 分隔次数，maxsplit=1 分隔一次，默认为 0，不限制次数。
flags 标志位，用于控制正则表达式的匹配方式，如：是否区分大小写，多行匹配.

import re
re.split('\W+', 'runoob, runoob, runoob.')
#运行结果['runoob', 'runoob', 'runoob', '']
re.split('(\W+)', ' runoob, runoob, runoob.') 
#运行结果['', ' ', 'runoob', ', ', 'runoob', ', ', 'runoob', '.', '']
re.split('\W+', ' runoob, runoob, runoob.', 1) 
#运行结果['', 'runoob, runoob, runoob.']
re.split('a*', 'hello world')   # 对于一个找不到匹配的字符串而言，split 不会对其作出分割
#运行结果['hello world']

二.正则表达式修饰符 - 可选标志

正则表达式可以包含一些可选标志修饰符来控制匹配的模式。修饰符被指定为一个可选的标志。多个标志可以通过按位 OR(|) 它们来指定。如 re.I | re.M 被设置成 I 和 M 标志：
re.I 使匹配对大小写不敏感
re.L 做本地化识别（locale-aware）匹配
re.M 多行匹配，影响 ^ 和 $
re.S 使 . 匹配包括换行在内的所有字符
re.U 根据Unicode字符集解析字符。这个标志影响 \w, \W, \b, \B.
re.X 该标志通过给予你更灵活的格式以便你将正则表达式写得更易于理解。

三.特殊元素

下面列出了正则表达式模式语法中的特殊元素。如果你使用模式的同时提供了可选的标志参数，某些模式元素的含义会改变。

^ 匹配字符串的开头
$ 匹配字符串的末尾。
. 匹配任意字符，除了换行符，当re.DOTALL标记被指定时，则可以匹配包括换行符的任意字符。
[…] 用来表示一组字符,单独列出：[amk] 匹配 ‘a’，’m’或’k’
[^…] 不在[]中的字符：[^abc] 匹配除了a,b,c之外的字符。
re* 匹配0个或多个的表达式。
re+ 匹配1个或多个的表达式。
re? 匹配0个或1个由前面的正则表达式定义的片段，非贪婪方式
re{ n}
re{ n,} 精确匹配n个前面表达式。
re{ n, m} 匹配 n 到 m 次由前面的正则表达式定义的片段，贪婪方式
a| b 匹配a或b
(re) G匹配括号内的表达式，也表示一个组
(?imx) 正则表达式包含三种可选标志：i, m, 或 x 。只影响括号中的区域。
(?-imx) 正则表达式关闭 i, m, 或 x 可选标志。只影响括号中的区域。
(?: re) 类似 (…), 但是不表示一个组
(?imx: re) 在括号中使用i, m, 或 x 可选标志
(?-imx: re) 在括号中不使用i, m, 或 x 可选标志
(?#…) 注释.
(?= re) 前向肯定界定符。如果所含正则表达式，以 … 表示，在当前位置成功匹配时成功，否则失败。但一旦所含表达式已经尝试，匹配引擎根本没有提高；模式的剩余部分还要尝试界定符的右边。
(?! re) 前向否定界定符。与肯定界定符相反；当所含表达式不能在字符串当前位置匹配时成功
(?> re) 匹配的独立模式，省去回溯。
\w 匹配字母数字
\W 匹配非字母数字
\s 匹配任意空白字符，等价于 [\t\n\r\f].
\S 匹配任意非空字符
\d 匹配任意数字，等价于 [0-9].
\D 匹配任意非数字
\A 匹配字符串开始
\Z 匹配字符串结束，如果是存在换行，只匹配到换行前的结束字符串。c
\z 匹配字符串结束
\G 匹配最后匹配完成的位置。
\b 匹配一个单词边界，也就是指单词和空格间的位置。例如， ‘er\b’ 可以匹配”never” 中的 ‘er’，但不能匹配 “verb” 中的 ‘er’。
\B 匹配非单词边界。’er\B’ 能匹配 “verb” 中的 ‘er’，但不能匹配 “never” 中的 ‘er’。
\n, \t, 等. 匹配一个换行符。匹配一个制表符。等
\1…\9 匹配第n个分组的子表达式。
\10 匹配第n个分组的子表达式，如果它经匹配。否则指的是八进制字符码的表达式。

四.正则表达式实例

字符匹配
python 匹配 “python”.
字符类
[Pp]ython 匹配 “Python” 或 “python”
rub[ye] 匹配 “ruby” 或 “rube”
[aeiou] 匹配中括号内的任意一个字母
[0-9] 匹配任何数字。类似于 [0123456789]
[a-z] 匹配任何小写字母
[A-Z] 匹配任何大写字母
[a-zA-Z0-9] 匹配任何字母及数字
[^aeiou] 除了aeiou字母以外的所有字符
[^0-9] 匹配除了数字外的字符

五.以下是我做过的一些题目

1.请用正则表达式，找出下面字符串中所有c开头的单词，结果是一个列表，列表里面每一个元素是一个单词得出的列表应该是[‘curtain’,’clear’,’case’,’certain’]
s =
”’
And now, the end is near　　And so I face the final curtain　　My friend, I’ll make it clear
I’ll state my case, of which I’m certain
”’

import re
s =\
'''
    And now, the end is near　　And so I face the final curtain　　My friend, I'll make it clear
    I'll state my case, of which I'm certain
'''
result=re.findall(r'\b[c][a-z]+',s)
print(result)

2.用正则表达式，提取每行中完整的年月日和时间字段应该得出字典:
[‘1987-02-09 07:30:00’,’1987-02-10 07:25:00’]

import re
s="""se234 1987-02-09 07:30:00
    1987-02-10 07:25:00
"""
result=re.findall(r'\d{4}-\d{2}-\d{2}\s+\d{2}:\d{2}:\d{2}',s)
print(result)

3.用正则表达式筛选出，只包含字母、空格和数字的行，结果是一个列表，每个元素是一行

import re
s='''
i love you not because
12sd 34er*% 56
df e4*%$ 5@%!4434
sfi hi q94 729
'''
result=re.findall(r'\n[\w\s]+\n',s)
print(result)

4.请用正则表达式将下面字符串里面的英文行分离出来，保存在列表，列表里面的每一个元素为一行英文(包括标点符号)

s = '''
   And now, the end is near;
　　现在，我的末日将近，
　　And so I face the final curtain.
　　面临人生的最后落幕，
　　My friend, I'll make it clear,
　　我的朋友，我要说个清楚，
　　I'll state my case, of which I'm certain.
　　向你讲述我的人生之路。
　　I've lived a life that's full.
　　我活过一个充实的人生，
　　I've traveled each and every highway;
　　我经历过每一段路途，
　　And more, much more I did,
　　而更重要的是，
　　I did it my way.
　　我用自己的方式。
　　Regrets, I've had a few;
　　遗憾，也有一些吧，
　　But then again, too few to mention.
　　算不上多，不值一提。
　　I did what I had to do
　　我做了该做的一切，
　　And saw it through without exemption.
　　洞悉世事，不求赦免。
　　I planned each charted course;
　　我规划过每一段人生，
　　Each careful step along the by way,
　　每一个细微的脚步，
　　and more, much more than this,
　　而更重要的是，
　　I did it my way.
　　我用自己的方式。
　　Yes, there were times, I'm sure you knew
　　是的，你知道有些时候，
　　When I bit off more than I could chew.
　　我曾背负不能承受之重，
　　But through it all, when there was doubt,
　　但自始至终，就算充满疑惑，
　　I ate it up and spit it out.
　　我还是克服困难战胜了它。
　　I faced it all and I stood tall;
　　我挺直身躯，勇敢面对，
　　And did it my way.
　　用我自己的方式。
　　I’ve loved, I’ve laughed and cried.
　　我曾经爱过，笑过，哭过，
　　I’ve had my fill; my share of losing.
　　我曾经满足，也曾经失落，
　　And now, as tears subside,
　　现在，当泪水慢慢沉淀，
　　I find it all so amusing.
　　我发现原来可以一笑置之。
　　To think I did all that;
　　想到我所做过的一切，
　　And may I say - not in a shy way,
　　我可以说，毫不羞愧地说，
　　No, oh no not me,
　　我没有虚度，
　　I did it my way.
　　我用自己的方式。
　　For what is a man, what has he got?
　　男人究竟是什么，拥有什么？
　　If not himself, then he has naught.
　　除了自己，我们一无所有。
　　To say the things he truly feels;
　　说出心里最真实的感受，
　　And not the words of one who kneels.
　　而不是那些身不由己的话。
　　The record shows I took the blows -
　　时间证明，我经受住了磨难，
　　And did it my way!
　　用我自己的方式！
　　Yes, it was my way.
　　没错，这就是我的方式。
'''

res = re.findall(r'\n\s+([ a-zA-Z,.。!;?]+)\n',s)
for line in res:
    print(line)

学习愉快！！！