day25-python基础教学--正则表达式

一、正则表达式简介

1、正则与爬虫的关系
实际上爬虫一共就四个步骤：

1. 明确目标（要知道你准备在那个范围或者网站去搜索）
2. 爬（将所有的网站的内容全部爬下来）
3. 取（去掉对我们没用处的数据）
4. 处理数据（按照我们想要的方式存储和使用）

2、正则表达式介绍
正则表达式，又称规则表达式，通常被用来检索、替换那些符合某个模式(规则)的文本。

正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合， 组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。
3、使用正则表达式的目的

• 给定的字符串是否符合正则表达式的过滤逻辑（“匹配”）；
• 通过正则表达式，从文本字符串中获取我们想要的特定部分（“过滤”）。

二、正则表达式匹配规则

1、规则

边界匹配

三、re模块

1、正则表达式使用 对特殊字符进行转义，所以如果我们要使用原始字符串，只需加一个 r 前缀， e.g. r’chuanzhiboke\t.\tpython’。
2、re模块一般使用步骤

1. 使用 compile() 函数将正则表达式的字符串形式编译为一个 Pattern 对象
2. 通过 Pattern 对象提供的一系列方法对文本进行匹配查找，获得匹配结果，一个 Match 对象。
3. 最后使用 Match 对象提供的属性和方法获得信息，根据需要进行其他的操作。

3、compile 函数
compile 函数用于编译正则表达式，生成一个 Pattern 对象，它的一般使用形式如下：

import re
#将正则表达式编译成Pattern对象
pattern = re.compile(r'\d+')

案例：

import re

# #1.  . : 代表除了\n之外的任意单个字符;
# # 编译正则表达式
# patternObj = re.compile(r'a.c')
# # 需要过滤的字符串;
# text = 'abc'
# # 返回符合正则规则的内容;(匹配与过滤)
# print(patternObj.findall(text))




# 2. 如果匹配的规则里面包含正则规则的特殊字符， 那么一定要通过\进行转义；
# 需求： 匹配www.westos.org
# 编译正则表达式
patternObj = re.compile(r'www\.westos\.org')
# 需要过滤的字符串;
text = 'www.westos.org www.baidu.com'
# 返回符合正则规则的内容;(匹配与过滤)
print(patternObj.findall(text))

# 3.字符集: []
#       所有数字: [0-9]
#       所有小写字母: [a-z]
#       所有大写字母: [A-Z]
#       所有字母: [a-zA-Z]
#       字母，数字或者下划线: [a-zA-Z0-9_]
# 需求: 匹配 wwww.westos.org  www.westoa.org
# 编译正则表达式
# patternObj = re.compile(r'www\.westo[sa]\.org')
patternObj = re.compile(r'www\.westo[^sa]\.org')  # 除了s或者a之外的任意字符串;
# 需要过滤的字符串;
text = 'www.westos.org www.baidu.com www.westob.org'
# 返回符合正则规则的内容;(匹配与过滤)
print(patternObj.findall(text))

4、Pattern对象
正则表达式编译成 Pattern 对象， 可以利用 pattern 的一系列方法对文本进行匹配查找了。
Pattern 对象的一些常用方法主要有：

• match 方法：从起始位置开始查找，一次匹配
• search 方法：从任何位置开始查找，一次匹配
• findall 方法：全部匹配，返回列表
• finditer 方法：全部匹配，返回迭代器
• split 方法：分割字符串，返回列表
• sub 方法：替换

5、match方法
match 方法用于查找字符串的头部（也可以指定起始位置），它是一次匹配，只要找到了一个匹配的结果就返回， 而不是查找所有匹配的结果。它的一般使用形式如下：
match(string[,pos[,endpos]])

• string 待匹配的字符串
• pos 字符串的起始位置， 默认值是 0
• endpos 字符串的终点位置， 默认值是 len (字符串长度)

6、Match对象

• group([group1, …]) 方法用于获得一个或多个分组匹配的字符串，当要获得整个匹配的子串时，可直接使用 group() 或 group(0)；
• start([group]) 方法用于获取分组匹配的子串在整个字符串中的起始位置（子串第一个字符的索引），参数默认 值为 0；
• end([group]) 方法用于获取分组匹配的子串在整个字符串中的结束位置（子串最后一个字符的索引+1），参数 默认值为 0；
• span([group]) 方法返回 (start(group), end(group))。

7、search 方法
search 方法用于查找字符串的任何位置，它也是一次匹配，只要找到了一个匹配的结果就返回，而不是查找所有 匹配的结果，它的一般使用形式如下：
search(string[,pos[,endpos]])

当匹配成功时，返回一个Match对象，如果没有匹配上，则返回Mone。
案例：

"""
match 方法用于查找字符串的头部（也可以指定起始位置），它是一次匹配，只要找到了一个匹配的结果就返回， 而不是查找所有匹配的结果。它的一般使用形式如下：
"""

import re
patternObj = re.compile(r'(?P<URL>(?P<schme>http|https)://\w+\.\w+\.\w+)')
text = 'helo http://www.baidu.com   https://www.westos.org'
print("findall: ", patternObj.findall(text))
print("finditer: ", patternObj.finditer(text))
print("match: ", patternObj.match(text))
print("search: ", patternObj.search(text))
matchObj = patternObj.search(text)
if matchObj:
    print("匹配成功")
    print(matchObj.group())     # 返回匹配到的第一个分组
    print(matchObj.groups())    # 返回所有的分组
    print(matchObj.groupdict())  # 命名分组的时候， 会返回内容, {命名分组的名称: 匹配到内容}
    print(matchObj.start())
    print(matchObj.end())
    print(matchObj.span())
else:
    print("没有匹配成功")

8、findall 方法与finditer 方法
findall 方法搜索整个字符串，获得所有匹配的结果，使用形式如下：
findall(string[,pos[,endpos]])

finditer方法的行为和findall的行为类似，也是搜索整个字符串，获得所有匹配的结果，但他返回一个顺序访问每一个匹配结果（Match对象）的迭代器。

案例：

import re

"""
http://www.baidu.com
https://www.baidu.com
ftp://www.baidu.com
"""
# | 或者
# ()分组, 如果有分组， 只返回分组里面匹配到的内容;
# 匹配http和https协议的URL地址;
# r:代表规则为原生字符串， 一般情况下\代表转义的意思， 如果匹配的规则里面包含\时， 要写成\\, 而有了r， 就不用\\了.
URLpattern = r'((http|https)://(\w+\.\w+\.\w+))'
# 匹配http和https协议的URL地址;
# URLpattern = 'https?://\w+\.\w+\.\w+'
patternObj = re.compile(URLpattern)
text = 'http://www.baidu.com https://www.baidu.com ftp://www.baidu.com'
result = patternObj.findall(text)
print(result)

9、split方法
split 方法按照能够匹配的子串将字符串分割后返回列表，它的使用形式如下：
split（string,maxsplit）

• maxsplit 指定最大分割次数，不指定将全部分割
  案例：

import re
# 需求： 拿出运算操作中所有的数字
text = '1+3+5*10-8'
patternObj = re.compile(r'\+|-|\*|/')
# maxsplit=最大分割次数;
result = patternObj.split(text, maxsplit=3)
print(result)

10、sub方法
sub 方法用于替换。它的使用形式如下：
sub(rep1,string[,count])

• repl可以是一个字符串也可以是一个函数：1). 是字符串，使用 repl 去替换字符串每一个匹配的子串，并返回替换后的字符串，2). 如果 repl 是函数，这个方法应当只接受一个参数（Match 对象），并返回一个字符串用于替换.
• count 用于指定最多替换次数，不指定时全部替换。
  案例：

"""
sub 方法用于替换。它的使用形式如下：

"""
import  re
text = "本文章点赞数为100， 转发数为20"
patternObj = re.compile(r'\d+')
# 将text文本信息中符合patternObj规则的内容替换为0;
result = patternObj.sub('0' , text)
print(result)

# 需求： 匹配到的所有数值+1

def addNum(matchObj):
    """对匹配到的内容+1"""
    if matchObj:
        # 目前num时一个字符串
        num = matchObj.group()
        # 在原有基础上加1 , num时数值类型
        num = int(num) + 1
        return str(num)


def add_perfix(matchObj):
    if matchObj:
        return '1002' + matchObj.group()

result = patternObj.sub(addNum, text)
print(result)

result = patternObj.sub(add_perfix, text)
print(result)

11、贪婪模式与非贪婪模式

1. 贪婪模式：在整个表达式匹配成功的前提下，尽可能多的匹配 ( .* )；使用贪婪的数量词的正则表达式 ab* ，匹配结果： abbb。决定了尽可能多匹配 b，所以a后面所有的 b 都出现了。
2. 非贪婪模式：在整个表达式匹配成功的前提下，尽可能少的匹配 ( ? )；
   使用非贪婪的数量词的正则表达式 ab*? ，匹配结果： a。 .*? .+?
   即使前面有 * ，但是 ? 决定了尽可能少匹配 b，所以没有 b。

python中数量词默认的时贪婪的。
案例：

import re
text = 'abbbbbb'
pattern1 = re.compile(r'ab*')  # 贪婪模式
pattern2 = re.compile(r'ab*?')  # 非贪婪模式

result1 = pattern1.findall(text)
result2 = pattern2.findall(text)

print(result1)
print(result2)