Python全栈开发-Python爬虫-03 正则表达式详解

最新推荐文章于 2022-11-30 20:26:56 发布

落空空。

最新推荐文章于 2022-11-30 20:26:56 发布

阅读量179

点赞数 1

分类专栏： python基础 python 正则表达式文章标签： python 正则表达式爬虫

本文链接：https://blog.csdn.net/kc44601/article/details/118197712

版权

python基础同时被 3 个专栏收录

31 篇文章 15 订阅

订阅专栏

python

29 篇文章 0 订阅

订阅专栏

正则表达式

5 篇文章 0 订阅

订阅专栏

正则表达式

一. 什么是正则表达式

正则表达式，又称规则表达式，通常被用来检索、替换那些符合某个模式(规则)的文本。

正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个"规则字符串"，这个"规则字符串"用来表达对字符串的一种过滤逻辑。

给定一个正则表达式和另一个字符串，我们可以达到如下的目的：

给定的字符串是否符合正则表达式的过滤逻辑（“匹配”）；
通过正则表达式，从文本字符串中获取我们想要的特定部分（“过滤”）

二. 正则表达式的常见语法

在这里插入图片描述

三. Python 的 re 模块

在 Python 中，我们可以使用内置的 re 模块来使用正则表达式。

有一点需要特别注意的是，正则表达式使用对特殊字符进行转义，所以如果我们要使用原始字符串，只需加一个 r 前缀，示例：

r'chuanzhiboke\t\.\tpython'

四. re 模块的一般使用步骤如下：

使用 compile() 函数将正则表达式的字符串形式编译为一个 Pattern 对象
通过 Pattern 对象提供的一系列方法对文本进行匹配查找，获得匹配结果，一个 Match 对象。
最后使用 Match 对象提供的属性和方法获得信息，根据需要进行其他的操作

五. re.match()方法的使用

re.match() 尝试从字符串的起始位置匹配一个模式，如果不是起始位置匹配成功的话，match()就返回None。
re.match(pattern, string, flags=0)
pattern : 正则表达式
string : 要匹配的字符
flags ：设置匹配模式

5.1 最常规匹配

当你要匹配某一个内容的时候，你要告诉他前一个字符的特征和后一个字符的特征，给了范围才能精准匹配到

import re

content = 'Hello 123 456789 World_This is a Regex Demo'

# 精准匹配
# 一个\d匹配模式匹配一个字符串
res = re.match('^Hello\s\d\d\d\s\d{6}\s\w{10}.*Demo$', content) # Hello精准匹配 字符串是可以去匹配字符串的
print(res)           #返回的是一个匹配对象
print(res.group())   # .group() 获取匹配内容
print(res.span())    # 匹配长度
print(len(content))  # len统计字符串数量

运行结果如下:

<re.Match object; span=(0, 43), match='Hello 123 456789 World_This is a Regex Demo'>
Hello 123 456789 World_This is a Regex Demo
(0, 43)
43

import re
a_str = 'qwe 123 ghj'

res = re.match('^q\w{2}\s\d{3}.*j$',a_str)
print(res.group())

运行结果如下:

qwe 123 ghj

5.2 泛匹配

import re

content = 'Hello 123 4567 World_This is a Regex'

# 开头词 结尾词
# 熟练后可以很精简的写
result = re.match('^H.*?Regex$',content)
print(result.group()) # 获取匹配内容
print(result.span()) # 获取匹配长度

运行结果如下:

Hello 123 4567 World_This is a Regex
(0, 36)

5.3 匹配目标 – 分组匹配

为了匹配字符串中具体的目标，可以使用（）进行分组匹配

import re

content = 'qwe Hello 1234567 World_This is a Regex Demo'

# (\w+) +至少匹配一个或者多个，是一种贪婪模式 
# 前后写\s是为了给他做限制，匹配范围为你的前后都为空格
# （）表示一个组，为了方便内容提取，这个组使用group()提取 

result = re.match('^qwe\s(\w+)\s(\d{7}).*Demo$',content)

# result = re.match('^qwe\s(\w+)\s(\d{3}).*Demo$',content)

print(result.group())
print(result.group(1)) # 提取第一组表达式内匹配到的字符
print(result.group(2)) # 提取第二组表达式内匹配的字符

运行结果如下:

qwe Hello 1234567 World_This is a Regex Demo
Hello
1234567

import re
sssd = 'dasdjskL22222adjlsakjddd66666dassssssa'

#     \d只能匹配数字，所以需要.*泛匹配后面内容，匹配到ddd为止
result = re.match('^d.*L(\d+).*ddd(\d+)da.*sa$',sssd)
print(result)
print(result.group())
print(result.group(1))
print(result.group(2))

运行结果如下:

<re.Match object; span=(0, 38), match='dasdjskL22222adjlsakjddd66666dassssssa'>
dasdjskL22222adjlsakjddd66666dassssssa
22222
66666

5.4 贪婪匹配

尽可能多的去匹配

意思是一直匹配，匹配到不能匹配为止

import re
# 匹配尽可能多的字符
content = 'Hello 1234567 World_This is a Regex Demo'

# 出现结果为7是因为：被前面的.*给匹配掉了，只剩下一个数字，这就是贪婪匹配
result = re.match('^He.*(\d+)\s.*Demo$', content)  #7
# result = re.match('^He.*(\d{2})\s.*Demo$', content)  # 匹配到67
print(result)
print(result.group())
print(result.group(1))

运行结果如下:

<re.Match object; span=(0, 40), match='Hello 1234567 World_This is a Regex Demo'>
Hello 1234567 World_This is a Regex Demo
7

5.5 非贪婪匹配

概念与贪婪相反，尽可能少的去匹配

若要非贪婪就是使用？

import re
# 匹配尽可能少的字符
content = 'Hello 1234567 World_This is a Regex Demo'
result = re.match('^He.*?(\d+).*Demo$', content)

# print(result)
print(result.group())
print(result.group(1))

运行结果如下:

Hello 1234567 World_This is a Regex Demo
1234567

注意：贪婪模式与非贪婪模式

贪婪模式：在整个表达式匹配成功的前提下，尽可能多的匹配 ( * )；
非贪婪模式：在整个表达式匹配成功的前提下，尽可能少的匹配 ( ? )；
Python里数量词默认是贪婪的。

使用贪婪的数量词的正则表达式：<div>.*</div>
匹配结果：<div>test1</div>bb<div>test2</div>

这里采用的是贪婪模式。在匹配到第一个"</div>“时已经可以使整个表达式匹配成功，但是由于采用的是贪婪模式，所以仍然要向右尝试匹配，查看是否还有更长的可以成功匹配的子串。匹配到第二个”</div>“后，向右再没有可以成功匹配的子串，匹配结束，匹配结果为”<div>test1</div>bb<div>test2</div>"

使用非贪婪的数量词的正则表达式：<div>.*?</div>
匹配结果：<div>test1</div>

正则表达式二采用的是非贪婪模式，在匹配到第一个"</div>“时使整个表达式匹配成功，由于采用的是非贪婪模式，所以结束匹配，不再向右尝试，匹配结果为”<div>test1</div>"。

5.6 匹配模式

在这里插入图片描述

import re
# re.S 作用：匹配包括换行在内的所有字符
content = '''Hello 1234567 World_This
is a Regex Demo
'''
result = re.match('^He.*?(\d+).*Demo$', content,re.S)
print(result.group())
print(result.group(1))

运行结果如下:

Hello 1234567 World_This
is a Regex Demo
1234567

5.7 转义

import re

# 一对一匹配写法在这不适用，原因：
# $和 .是正则里的特殊匹配符号 遇到这种情况要讲特殊符号转义
content = 'price is $5.00' 
result = re.match('price is $5.00', content)
print(result)

运行结果如下:

None

import re

# 在特殊符合前加\转义 ,表示它不是正则里的匹配符号，就只是普通文本
content = 'price is $5.00'
result = re.match('price is \$5\.00', content)
print(result)
print(result.group())

运行结果如下:

<re.Match object; span=(0, 14), match='price is $5.00'>
price is $5.00

总结：尽量使用泛匹配、使用括号得到匹配目标、尽量使用非贪婪模式、有换行符就用re.S

六. re.search()方法的使用

re.search() 扫描整个字符串并返回第一个成功的匹配。

不用从字符串开头开始匹配,不需要写字符串结尾
但同样需要告诉它前一个字符的特征和后一个字符的特征，给了范围才能精准匹配到

import re

content = 'Extra stings Hello 1234567 World_This is a Regex Demo Extra stings'

result = re.match('He.*?(\d+).*?Wor', content)  # 因为没从起始位置开始匹配
# result = re.match('Ex.*?(\d+).*?Wor', content)  # 从起始位置开始匹配  加$就报错
print(result)

运行结果如下:

None

import re

content = 'Extroa stings Hello 1234567 World_This is a 66666666 RDemogex Demo Extra stings'
result = re.search('He.*?(\d+).*?Wor', content)
print(result)
print(result.group(1))

运行结果如下:

<re.Match object; span=(14, 31), match='Hello 1234567 Wor'>
1234567

总结：为匹配方便，能用search()就不用match()

七. 匹配演练

例一:

import re

html = '''<div id="songs-list">
    <h2 class="title">经典老歌</h2>
    <p class="introduction">
        经典老歌列表
    </p>
    <ul id="list" class="list-group">
        <li data-view="2">一路有你</li>
        <li data-view="7">
            <a href="/2.mp3" singer="任贤齐">沧海一声笑</a>
        </li>
        <li data-view="4" class="active">
            <a href="/3.mp3" singer="齐秦">往事随风</a>
        </li>
        <li data-view="6"><a href="/4.mp3" singer="beyond">光辉岁月</a></li>
        <li data-view="5"  class="active"><a href="/5.mp3" singer="陈慧琳">记事本</a></li>
        <li data-view="5">
            <a href="/6.mp3" singer="邓丽君"><i class="fa fa-user"></i>但愿人长久</a>
        </li>
    </ul>
</div>'''
# 文本里面有引号，所以一一对应
# 规律：如果要取目标值 一定要拿到它前后的特征字符

result = re.search('<li.*?active.*?singer="(.*?)">(.*?)</a>.*?</li>',html,re.S)  

# result = re.search('<li.*?href.*?/4\.mp3".singer="(.*?)">(.*?)</a>.*?</li>',html,re.S)  #beyond  光辉岁月

# result = re.search('<li.*?/5\.mp3".singer="(.*?)">(.*?)</a>.*?</li>', html, re.S) # 陈慧琳 记事本

# 可以写的更精简一些 只要保证拿到目标值的前后特征字符就行
# result = re.search('/6\.mp3.*?="(.*?)".*?</i>(.*?)</a>',html,re.S) # 邓丽君 但愿人长久 
# print(result)
# print(result.group())
# for i in result:
#     print(i)
print(result.group(1))
print(result.group(2))

运行结果如下:

齐秦
往事随风

例二:

html = '''<div id="songs-list">
    <h2 class="title">经典老歌</h2>
    <p class="introduction">
        经典老歌列表
    </p>
    <ul id="list" class="list-group">
        <li data-view="2">一路有你</li>
        <li data-view="7">
            <a href="/2.mp3" singer="任贤齐">沧海一声笑</a>
        </li>
        <li data-view="4" class="active">
            <a href="/3.mp3" singer="齐秦">往事随风</a>
        </li>
        <li data-view="6"><a href="/4.mp3" singer="beyond">光辉岁月</a></li>
        <li data-view="5"  class="active"><a href="/5.mp3" singer="陈慧琳">记事本</a></li>
        <li data-view="5">
            <a href="/6.mp3" singer="邓丽君"><i class="fa fa-user"></i>但愿人长久</a>
        </li>
    </ul>
</div>'''

import re

# 只能匹配到当前第一个
result = re.search('<li.*?active.*?singer="(.*?)">(.*?)</a>.*?</li>',html,re.S)  
print(result.group(1))
print(result.group(2))

运行结果如下:

齐秦
往事随风

八. re.findall()

前面的match()以及search()都只能匹配到第一个

搜索字符串，以列表形式返回全部能匹配的子串。

import re

html = '''<div id="songs-list">
    <h2 class="title">经典老歌</h2>
    <p class="introduction">
        经典老歌列表
    </p>
    <ul id="list" class="list-group">
         <li data-view="2">一路有你</li>
        <li data-view="7">
            <a href="/2.mp3" singer="任贤齐">沧海一声笑</a>
        </li>
        <li data-view="4" class="active">
            <a href="/3.mp3" singer="齐秦">往事随风</a>
        </li>
        <li data-view="6"><a href="/4.mp3" singer="beyond">光辉岁月</a></li>
        <li data-view="5"><a href="/5.mp3" singer="陈慧琳">记事本</a></li>
        <li data-view="5">
            <a href="/6.mp3" singer="邓丽君">但愿人长久</a>
        </li>
    </ul>
</div>'''

pe = '<li.*?<a.*?href="(.*?)".*?singer="(.*?)">(.*?)</a>.*?</li>'

# 精简写法
# pe='href="(.*?)".*?singer="(.*?)">(.*?)</a>'  # 歌手 歌曲

res = re.findall(pe,html,re.S)  # 能拿到满足该正则表达式的所有数据
print(res)  
for i in res:
#     print(i)
    with open('abc.txt','a') as f:
        f.write('链接：'+i[0]+'\n')
        f.write('歌手：'+i[1]+'\n')
        f.write('歌曲：'+i[2]+'\n')
        f.close()

运行结果如下:

[('/2.mp3', '任贤齐', '沧海一声笑'), ('/3.mp3', '齐秦', '往事随风'), ('/4.mp3', 'beyond', '光辉岁月'), ('/5.mp3', '陈慧琳', '记事本'), ('/6.mp3', '邓丽君', '但愿人长久')]

九. re.sub()

替换字符串中每一个匹配的子串后返回替换后的字符串。

例一:

import re

content = 'Extra stings Hello 1234567 World_This is a Regex Demo Extra stings'
# 第一个参数 正则表达式
# 要替换的新字符
# 原字符串
content = re.sub('s', '7', content) # 所有s都替换成了7
print(content)

运行结果如下:

Extra 7ting7 Hello 1234567 World_Thi7 i7 a Regex Demo Extra 7ting7

例二:

import re

content = 'Extra stings Hello 1234567 World_This is a Regex Demo Extra stings'
# 第一个参数 正则表达式
# 要替换的新字符
# 原字符串
content = re.sub('\d+', '6666666', content)
print(content)

运行结果如下:

Extra stings Hello 6666666 World_This is a Regex Demo Extra stings

例三:

import re

content = 'Extra stings Hello 1234567 World_This is a Regex Demo Extra stings'
# 要替换的内容包含原字符串本身 追加  
# \1表示保留原始字符串 # \1表示保留原始字符串 r表追加 空格后面写要追加的内容
content = re.sub('(\d+)',r'\1 3333', content)
print(content)

运行结果如下:

Extra stings Hello 1234567 3333 World_This is a Regex Demo Extra stings

例四:

import re

html = '''<div id="songs-list">
    <h2 class="title">经典老歌</h2>
    <p class="introduction">
        经典老歌列表
    </p>
    <ul id="list" class="list-group">
        <li data-view="2">一路上有你</li>
        <li data-view="7">
            <a href="/2.mp3" singer="任贤齐">沧海一声笑</a>
        </li>
        <li data-view="4" class="active">
            <a href="/3.mp3" singer="齐秦">往事随风</a>
        </li>
        <li data-view="6"><a href="/4.mp3" singer="beyond">光辉岁月</a></li>
        <li data-view="5"><a href="/5.mp3" singer="陈慧琳">记事本</a></li>
        <li data-view="5">
            <a href="/6.mp3" singer="邓丽君">但愿人长久</a>
        </li>
    </ul>
</div>'''

#  | 表示或
html = re.sub('<a.*?>|</a>', '', html)
print(html) # a标签里的链接和歌手名都被替换掉了

results = re.findall('<li.*?>(.*?)</li>', html, re.S)
# print(results)
for result in results:
    print(result.strip())  #.strip()去掉前后的空白字符

运行结果如下:

<div id="songs-list">
    <h2 class="title">经典老歌</h2>
    <p class="introduction">
        经典老歌列表
    </p>
    <ul id="list" class="list-group">
        <li data-view="2">一路上有你</li>
        <li data-view="7">
            沧海一声笑
        </li>
        <li data-view="4" class="active">
            往事随风
        </li>
        <li data-view="6">光辉岁月</li>
        <li data-view="5">记事本</li>
        <li data-view="5">
            但愿人长久
        </li>
    </ul>
</div>
一路上有你
沧海一声笑
往事随风
光辉岁月
记事本
但愿人长久

十. re.compile

将正则字符串编译成正则表达式对象

将一个正则表达式串编译成正则对象，以便于复用该匹配模式相当于函数的意义，可以多次调用

import re

content = '''Hello 1234567 World_This
is a Regex Demo'''

pattern = re.compile('Hello.*Demo', re.S)  # 正则表达式对象
# print(pattern)   # 方便复用  如果需要多次用到这个正则表达式 那就可以这样写 

result = re.match(pattern, content) 
print(result)

运行结果如下:

<re.Match object; span=(0, 40), match='Hello 1234567 World_This\nis a Regex Demo'>

案例:豆瓣新书速递¶

import requests
import re

url = 'https://book.douban.com/latest?icn=index-latestbook-all'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36'
}

# 1.分析网页,发起请求
response = requests.get(url, headers=headers)

if response.status_code == 200:
    # 获取响应内容
    html = response.text
    # print(html)

    # print(response.status_code)
    # print(response.text)

    # 解析内容
    z = '<div.*?class="detail-frame".*?<a.*?href="(.*?)">(.*?)</a>.*?<p.*?class="color-gray">(.*?)</p>' \
        '.*?<p.*?>(.*?)</p>.*?</div>'
    result = re.findall(z, html, re.S)
    # print(result)

    for i in result:
        # print(i)
        name = i[1]  # 书籍名称
        book_url = i[0]  # 链接
        auth = i[2]  # 作者
        detail = i[3]  # 简介
        print(name)
        print(book_url)
        print(auth.strip())
        print(detail.strip())
        print("---" * 20)

        # 4.保存信息
        with open('book.txt', 'a', encoding='utf-8')as f:
            f.write('书籍名称:' + name.strip() + '\n')
            f.write('书籍链接:' + book_url.strip() + '\n')
            f.write('作者:' + auth.strip() + '\n')
            f.write('书籍简介:' + detail.strip() + '\n')
            f.write('\n')

运行结果如下:
由于结果太多,这里只展示五个书籍
由于爬取的是新书速递,所以每段时间爬取结果可能会不一样,请以实际为准

空空如也
https://book.douban.com/subject/35444393/
[日]松重丰 / 北京联合出版公司 / 2021-6-1
“这是身为演员的我，才能写出的故事。”《孤独的美食家》主演松重丰首部作品集。由半自传体、连作短篇小说集《愚者谵言》与随笔集《演者戏言》两部分构成。
------------------------------------------------------------
退稿图书馆
https://book.douban.com/subject/35218576/
[法] 大卫·冯金诺斯 / 上海译文出版社 / 2021-6-1
“退稿图书馆”专门收藏无法出版且放弃出版指望的书稿。编辑黛尔菲和小说家弗雷德里克偶然在此发现了一部杰作，作者名叫“亨利•彼克”。谁是“亨利•彼克”？
------------------------------------------------------------
气球人
https://book.douban.com/subject/35451204/
陈浩基 / 花城出版社 / 2021-5-31
主人公“气球人”无意中发现自己身怀异能，只要接触生命体的皮肤，就可令其在指定时间内像气球一样充气膨胀，“意外”死亡。从此，“气球人”成为了一名职业杀手……
------------------------------------------------------------
愤怒的玩偶
https://book.douban.com/subject/35286975/
[阿根廷] 罗伯特·阿尔特 / 四川文艺出版社 / 2021-6
主人公阿斯铁尔被学校开除，他不惜一切代价试图摆脱贫穷，但始终未能成功，越来越陷入悲观。小说反映了 20 世纪初布宜诺斯艾利斯的混乱局面。
------------------------------------------------------------
毁灭者亚巴顿
https://book.douban.com/subject/35430544/
[阿根廷]埃内斯托·萨瓦托 / 四川文艺出版社 / 2021-6
阿根廷经典作家萨瓦托长篇小说，是其“心理小说三部曲”之终章。作品具有典型的拉美文学魅力，又有独创之处。虽则阅读门槛较高，其文学价值、重要性却是毋庸置疑。
------------------------------------------------------------

落空空。

关注

1
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
Python全栈开发-Python爬虫-03 正则表达式详解

正则表达式一. 什么是正则表达式正则表达式，又称规则表达式，通常被用来检索、替换那些符合某个模式(规则)的文本。正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个"规则字符串"，这个"规则字符串"用来表达对字符串的一种过滤逻辑。给定一个正则表达式和另一个字符串，我们可以达到如下的目的：给定的字符串是否符合正则表达式的过滤逻辑（“匹配”）；通过正则表达式，从文本字符串中获取我们想要的特定部分（“过滤”）二. 正则表达式的常见语法三. P
复制链接

扫一扫