数据处理之正则re

1. 正则表达式模式

模式字符串使用特殊的语法来表示一个正则表达式:

  • 模式字符串使用特殊的语法来表示一个正则表达式:
  • 字母和数字表示他们自身。一个正则表达式模式中的字母和数字匹配同样的字符串。
  • 多数字母和数字前加一个反斜杠时会拥有不同的含义。
  • 标点符号只有被转义时才匹配自身,否则它们表示特殊的含义。
  • 反斜杠本身需要使用反斜杠转义。
  • 由于正则表达式通常都包含反斜杠,所以你最好使用原始字符串来表示它们。模式元素(如 r’\t’,等价于 ‘\t’)匹配相应的特殊字符。
  • 下表列出了正则表达式模式语法中的特殊元素。如果你使用模式的同时提供了可选的标志参数,某些模式元素的含义会改变。
    在这里插入图片描述

2. 正则表达式实例

在这里插入图片描述

3. 正则表达式修饰符 - 可选标志

正则表达式可以包含一些可选标志修饰符来控制匹配的模式。修饰符被指定为一个可选的标志。多个标志可以通过按位 OR(|) 它们来指定。如 re.I | re.M 被设置成 I 和 M 标志:
在这里插入图片描述

4. 正则表达式对象

4.1 re.match 方法

re.match 尝试从字符串的起始位置匹配一个模式,如果不是起始位置匹配成功的话,match()就返回none。
语法:
re.match(pattern, string, flags=0)
参数:
在这里插入图片描述
匹配成功re.match方法返回一个匹配的对象,否则返回None。
我们可以使用group(num) 或 groups() 匹配对象函数来获取匹配表达式。

在这里插入图片描述
demo1:

import re
print(re.match('www', 'www.runoob.com').start()) # 返回开始位置
print(re.match('www', 'www.runoob.com').end())   # 返回结束位置
print(re.match('www', 'www.runoob.com').span())  # 以tuple形式返回范围
print(re.match('www', 'www.runoob.com'))         # 
print(re.match('com', 'www.runoob.com'))  # 不在起始位置匹配

output:

0
3
(0, 3)
<re.Match object; span=(0, 3), match='www'>
None

demo2

line = '''Cats are smarter than dogs
'''
matchObj = re.match( r'(.*) are (.*?) .*', line, re.M|re.I)
 
if matchObj:
   print("matchObj.group() : ", matchObj.group())
   print( "matchObj.group(1) : ", matchObj.group(1))
   print ("matchObj.group(2) : ", matchObj.group(2))
else:
   print( "No match!!")

output:

matchObj.group() :  Cats are smarter than dogs
matchObj.group(1) :  Cats
matchObj.group(2) :  smarter

4.2 re.search方法

re.search 扫描整个字符串并返回第一个成功的匹配。
语法:
re.search(pattern, string, flags=0)
demo1:

import re
print(re.search('www', 'www.runoob.com').span())  # 在起始位置匹配
print(re.search('com', 'www.runoob.com').span())         # 不在起始位置匹配

output:

(0, 3)
(11, 14)

re.match与re.search的区别
re.match只匹配字符串的开始,如果字符串开始不符合正则表达式,则匹配失败,函数返回None;而re.search匹配整个字符串,直到找到一个匹配。
demo2:

import re
 
line = "Cats are smarter than dogs";
 
matchObj = re.match( r'dogs', line, re.M|re.I)
if matchObj:
   print "match --> matchObj.group() : ", matchObj.group()
else:
   print "No match!!"
 
matchObj = re.search( r'dogs', line, re.M|re.I)
if matchObj:
   print "search --> searchObj.group() : ", matchObj.group()
else:
   print "No match!!"

output:

No match!!
search --> searchObj.group() :  dogs

4.3 re.sub 方法

Python 的 re 模块提供了re.sub用于替换字符串中的匹配项。

语法:
re.sub(pattern, repl, string, count=0, flags=0)
参数:

  • pattern : 正则中的模式字符串。
  • repl : 替换的字符串,也可为一个函数。
  • string : 要被查找替换的原始字符串。
  • count : 模式匹配后替换的最大次数,默认 0 表示替换所有的匹配。

demo1:

import re
 
phone = "2004-959-559 # 这是一个国外电话号码"
 
# 删除字符串中的 Python注释 
num = re.sub(r'#.*$', "", phone)
print ("电话号码是: ", num)
 
# 删除非数字(-)的字符串 
num = re.sub(r'\D', "", phone)
print ("电话号码是 : ", num)

output:

电话号码是:  2004-959-559 
电话号码是 :  2004959559

demo2:

import re
 
# 将匹配的数字乘以 2
def double(matched):
    print(matched)
    value = int(matched.group('value'))
    return str(value * 2)
 
s = 'A23G4HFD567'
print(re.sub('(?P<value>\d+)', double, s))

output:

A46G8HFD1134

4.4 re.compile 方法

compile 函数用于编译正则表达式,生成一个正则表达式( Pattern )对象,供 match() 和 search() 这两个函数使用。

语法格式为:
语法:
re.compile(pattern[, flags])
参数:

  • pattern : 一个字符串形式的正则表达式

  • flags : 可选,表示匹配模式,比如忽略大小写,多行模式等,具体参数为:

    • re.I 忽略大小写
    • re.L 表示特殊字符集 \w, \W, \b, \B, \s, \S 依赖于当前环境
    • re.M 多行模式
    • re.S 即为 . 并且包括换行符在内的任意字符(. 不包括换行符)
    • re.U 表示特殊字符集 \w, \W, \b, \B, \d, \D, \s, \S 依赖于 Unicode 字符属性数据库
    • re.X 为了增加可读性,忽略空格和 # 后面的注释
>>>import re
>>> pattern = re.compile(r'([a-z]+) ([a-z]+)', re.I)   # re.I 表示忽略大小写
>>> m = pattern.match('Hello World Wide Web')
>>> print( m)                               # 匹配成功,返回一个 Match 对象
<_sre.SRE_Match object at 0x10bea83e8>
>>> m.group(0)                            # 返回匹配成功的整个子串
'Hello World'
>>> m.span(0)                             # 返回匹配成功的整个子串的索引
(0, 11)
>>> m.group(1)                            # 返回第一个分组匹配成功的子串
'Hello'
>>> m.span(1)                             # 返回第一个分组匹配成功的子串的索引
(0, 5)
>>> m.group(2)                            # 返回第二个分组匹配成功的子串
'World'
>>> m.span(2)                             # 返回第二个分组匹配成功的子串
(6, 11)
>>> m.groups()                            # 等价于 (m.group(1), m.group(2), ...)
('Hello', 'World')
>>> m.group(3)                            # 不存在第三个分组
Traceback (most recent call last):
 File "<stdin>", line 1, in <module>
IndexError: no such group

上面demo中:

  • group([group1, …]) 方法用于获得一个或多个分组匹配的字符串,当要获得整个匹配的子串时,可直接使用 group() 或 group(0);
  • start([group]) 方法用于获取分组匹配的子串在整个字符串中的起始位置(子串第一个字符的索引),参数默认值为 0;
  • end([group]) 方法用于获取分组匹配的子串在整个字符串中的结束位置(子串最后一个字符的索引+1),参数默认值为 0;
  • span([group]) 方法返回 (start(group), end(group))。

4.5 find方法

4.5.1 findall 方法

在字符串中找到正则表达式所匹配的所有子串,并返回一个列表,如果没有找到匹配的,则返回空列表。
注意: match 和 search 是匹配一次 findall 匹配所有。
语法:
findall(string[, pos[, endpos]])
参数:

  • string : 待匹配的字符串。
  • pos : 可选参数,指定字符串的起始位置,默认为 0。
  • endpos : 可选参数,指定字符串的结束位置,默认为字符串的长度。

demo:

import re
 
pattern = re.compile(r'\d+')   # 查找数字
result1 = pattern.findall('runoob 123 google 456')
result2 = pattern.findall('run88oob123google456', 0, 10)
 
print(result1)
print(result2)

output:

['123', '456']
['88', '12']

4.5.2 re.finditer 方法

和 findall 类似,在字符串中找到正则表达式所匹配的所有子串,并把它们作为一个迭代器返回。
语法:
re.finditer(pattern, string, flags=0)
demo:

import re
 
it = re.finditer(r"\d+","12a32bc43jf3") 
for match in it: 
    print (match.group() )

output:

12 
32 
43 
3

4.5.3 re.findall 方法

和 findall 类似,在字符串中找到正则表达式所匹配的所有子串,并把它们作为一个列表返回。
语法:
re.finditer(pattern, string, flags=0)

import re
re.findall(r"\d+","12a32bc43jf3") 

output:

['12', '32', '43', '3']

5. 数据提取demo

demo1:

import re
target = '''
【Amar A Mue rte】链接:<a class="ql-link" href="https://pan.baidu.com/s/1DD9CTsHoNPibTNfHzT70mA" 【恋】链接:<a class="ql-link" href="https://pan.baidu.com/s/11Eo0sudT-nQXZBUrB8eMGQ" target="_blank"【AI:我与女友与人工智能】链接<a class="ql-link" href="https://pan.baidu.com/s/1UE_51RaoUg3JNFODX0g_ow" 【远漂】&nbsp;链接:</span><a class="ql-font-microsoftyahei ql-link" href="https://pan.baidu.com/s/1Kd7O6ri75kDTEA4KVnV8CQ" 【你好】链接:<a class="ql-link" href="https://pan.baidu.com/s/14bKxSYx2rkn2Pa4knjMaew" target="_blank" rel="noopener noreferrer nofollow">https://pan.baidu.com/s/14bKxSYx2rkn2Pa4knjMaew</a>&nbsp;提取码:WJSY</p><p line="854Y"><span style="color: #353535;" class="ql-font-microsoftyahei">【女人TAXI女人】 链接:</span><a class="ql-font-microsoftyahei ql-link" href="https://pan.baidu.com/s/1zYsa7_m6m3Jo7TON96gvaA" target=
'''
re.findall('(【\S+\s*\S*\s*\S*\s*\S*】\s*\S*)链接:*<',aa)

output:

['【Amar A Mue rte】',
 '【恋】链接:<a class="ql-link" href="https://pan.baidu.com/s/11Eo0sudT-nQXZBUrB8eMGQ" target="_blank"【AI:我与女友与人工智能】',
 '【远漂】&nbsp;',
 '【女欢】',
 '【女人TAXI女人】 ']
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值