Python爬虫理论Pro | (4) 正则表达式

最新推荐文章于 2022-10-24 14:46:30 发布
最新推荐文章于 2022-10-24 14:46:30 发布
阅读量322 收藏 2
点赞数 2
分类专栏： Python3网络爬虫从理论到实践Improve 文章标签： Python爬虫理论Pro 正则表达式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sdu_hao/article/details/97518758
版权

本篇博客我们将介绍正则表达式，它是处理字符串，如查找、替换等，解析HTML代码、数据清洗等操作的强大工具。

目录

1. 什么是正则表达式？

2. 常见匹配模式

3. re.match

4. re.search

5. re.findall

6. re.sub

7. re.compile

8. 实战

1. 什么是正则表达式？

正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”⽤来表达对字符串的⼀种过滤逻辑。

非Python独有，通过re模块实现。

2. 常见匹配模式

3. re.match

re.match 尝试从字符串的起始位置匹配一个模式，如果起始位置匹配不成功的话，match()就返回none。

re.match(pattern, string, flags=0)
  • 最常规匹配
import re

content = 'Hello 123 4567 World_This is a Regex Demo'
print(len(content))
result = re.match('^Hello\s\d\d\d\s\d{4}\s\w{10}.*Demo$', content)
print(result)
print(result.group()) 
print(result.span()) #匹配范围

  • 泛匹配
import re

content = 'Hello 123 4567 World_This is a Regex Demo'
result = re.match('^Hello.*Demo$', content)
print(result)
print(result.group())
print(result.span())

  • 匹配目标
import re
#匹配1234567  
content = 'Hello 1234567 World_This is a Regex Demo'
result = re.match('^Hello\s(\d+)\sWorld.*Demo$', content)#将目标用()扩起来 目标前后指明 确定范围
print(result)
print(result.group())
print(result.group(1)) #打印第一个()匹配的目标 
print(result.span())

  • 贪婪匹配
import re

content = 'Hello 1234567 World_This is a Regex Demo'
result = re.match('^He.*(\d+).*Demo$', content) #前面的1-6被.*匹配掉了 贪婪模式下.*匹配尽可能多 \d+至少一个数字
print(result)
print(result.group(1))

  • 非贪婪模式
import re

content = 'Hello 1234567 World_This is a Regex Demo'
result = re.match('^He.*?(\d+).*Demo$', content)#加上? 非贪婪模式 匹配尽可能少的字符
print(result)
print(result.group(1))

  • 匹配模式
import re
#字符串包含换行符
content = '''Hello 1234567 World_This
is a Regex Demo
'''
result = re.match('^He.*?(\d+).*?Demo$', content, re.S) #.不能匹配换行符 加上re.S可以匹配
print(result.group(1))

  • 转义
import re

content = 'price is $5.00'
result = re.match('price is $5.00', content)
print(result)

import re

content = 'price is $5.00'
result = re.match('price is \$5\.00', content) #特殊字符前加转义字符
print(result)

  • 小结

尽量使用泛匹配、使用括号得到匹配目标、尽量使用非贪婪模式、有换行符就用re.S。

 

4. re.search

re.search 扫描整个字符串并返回第一个成功的匹配。

import re

content = 'Extra stings Hello 1234567 World_This is a Regex Demo Extra stings'
result = re.match('Hello.*?(\d+).*?Demo', content)#只能从第一个字符开始匹配 如果第一个字符不匹配 就不会成功匹配
print(result)

import re

content = 'Extra stings Hello 1234567 World_This is a Regex Demo Extra stings'
result = re.search('Hello.*?(\d+).*?Demo', content)
print(result)
print(result.group(1))

为匹配方便，能用search就不用match.

  • 匹配演练
import re

html = '''<div id="songs-list">
    <h2 class="title">经典老歌</h2>
    <p class="introduction">
        经典老歌列表
    </p>
    <ul id="list" class="list-group">
        <li data-view="2">一路上有你</li>
        <li data-view="7">
            <a href="/2.mp3" singer="任贤齐">沧海一声笑</a>
        </li>
        <li data-view="4" class="active">
            <a href="/3.mp3" singer="齐秦">往事随风</a>
        </li>
        <li data-view="6"><a href="/4.mp3" singer="beyond">光辉岁月</a></li>
        <li data-view="5"><a href="/5.mp3" singer="陈慧琳">记事本</a></li>
        <li data-view="5">
            <a href="/6.mp3" singer="邓丽君"><i class="fa fa-user"></i>但愿人长久</a>
        </li>
    </ul>
</div>'''
result = re.search('<li.*?active.*?singer="(.*?)">(.*?)</a>', html, re.S)
if result:
    print(result.group(1), result.group(2))

import re

html = '''<div id="songs-list">
    <h2 class="title">经典老歌</h2>
    <p class="introduction">
        经典老歌列表
    </p>
    <ul id="list" class="list-group">
        <li data-view="2">一路上有你</li>
        <li data-view="7">
            <a href="/2.mp3" singer="任贤齐">沧海一声笑</a>
        </li>
        <li data-view="4" class="active">
            <a href="/3.mp3" singer="齐秦">往事随风</a>
        </li>
        <li data-view="6"><a href="/4.mp3" singer="beyond">光辉岁月</a></li>
        <li data-view="5"><a href="/5.mp3" singer="陈慧琳">记事本</a></li>
        <li data-view="5">
            <a href="/6.mp3" singer="邓丽君">但愿人长久</a>
        </li>
    </ul>
</div>'''
result = re.search('<li.*?singer="(.*?)">(.*?)</a>', html, re.S) #只返回第一个成功的匹配
if result:
    print(result.group(1), result.group(2))

import re

html = '''<div id="songs-list">
    <h2 class="title">经典老歌</h2>
    <p class="introduction">
        经典老歌列表
    </p>
    <ul id="list" class="list-group">
        <li data-view="2">一路上有你</li>
        <li data-view="7">
            <a href="/2.mp3" singer="任贤齐">沧海一声笑</a>
        </li>
        <li data-view="4" class="active">
            <a href="/3.mp3" singer="齐秦">往事随风</a>
        </li>
        <li data-view="6"><a href="/4.mp3" singer="beyond">光辉岁月</a></li>
        <li data-view="5"><a href="/5.mp3" singer="陈慧琳">记事本</a></li>
        <li data-view="5">
            <a href="/6.mp3" singer="邓丽君">但愿人长久</a>
        </li>
    </ul>
</div>'''
result = re.search('<li.*?singer="(.*?)">(.*?)</a>', html) #此时不能匹配换行符 
if result: #所以第一个匹配的是第四个标签
    print(result.group(1), result.group(2))

5. re.findall

搜索字符串，以列表形式返回全部能匹配的子串。

import re

html = '''<div id="songs-list">
    <h2 class="title">经典老歌</h2>
    <p class="introduction">
        经典老歌列表
    </p>
    <ul id="list" class="list-group">
        <li data-view="2">一路上有你</li>
        <li data-view="7">
            <a href="/2.mp3" singer="任贤齐">沧海一声笑</a>
        </li>
        <li data-view="4" class="active">
            <a href="/3.mp3" singer="齐秦">往事随风</a>
        </li>
        <li data-view="6"><a href="/4.mp3" singer="beyond">光辉岁月</a></li>
        <li data-view="5"><a href="/5.mp3" singer="陈慧琳">记事本</a></li>
        <li data-view="5">
            <a href="/6.mp3" singer="邓丽君">但愿人长久</a>
        </li>
    </ul>
</div>'''

results = re.findall('<li.*?href="(.*?)".*?singer="(.*?)">(.*?)</a>', html, re.S)
print(results) #返回全部匹配 列表形式 每个元素是一个元组
print(type(results))
for result in results:
    print(result)
    print(result[0], result[1], result[2])

import re

html = '''<div id="songs-list">
    <h2 class="title">经典老歌</h2>
    <p class="introduction">
        经典老歌列表
    </p>
    <ul id="list" class="list-group">
        <li data-view="2">一路上有你</li>
        <li data-view="7">
            <a href="/2.mp3" singer="任贤齐">沧海一声笑</a>
        </li>
        <li data-view="4" class="active">
            <a href="/3.mp3" singer="齐秦">往事随风</a>
        </li>
        <li data-view="6"><a href="/4.mp3" singer="beyond">光辉岁月</a></li>
        <li data-view="5"><a href="/5.mp3" singer="陈慧琳">记事本</a></li>
        <li data-view="5">
            <a href="/6.mp3" singer="邓丽君">但愿人长久</a>
        </li>
    </ul>
</div>'''

#匹配所有歌名 形式不一  有的有换行有的无 有的有a标签有的无
#()表示一个整体 ?匹配0个或1个 可能有可能无
#\s*？可能有换行也可能无

results = re.findall('<li.*?>\s*?(<a.*?>)?(\w+)(</a>)?\s*?</li>', html, re.S)
print(results)
for result in results:
    print(result[1])

6. re.sub

替换字符串中每一个匹配的子串后返回替换后的字符串。

import re

content = 'Extra stings Hello 1234567 World_This is a Regex Demo Extra stings'
content = re.sub('\d+', '', content)
print(content)

import re

content = 'Extra stings Hello 1234567 World_This is a Regex Demo Extra stings'
content = re.sub('\d+', 'Replacement', content)
print(content)

import re

content = 'Extra stings Hello 1234567 World_This is a Regex Demo Extra stings'
content = re.sub('(\d+)', r'\1 8910', content) #\1把第一个()中匹配到的字符串 拿过来 
print(content)

import re

html = '''<div id="songs-list">
    <h2 class="title">经典老歌</h2>
    <p class="introduction">
        经典老歌列表
    </p>
    <ul id="list" class="list-group">
        <li data-view="2">一路上有你</li>
        <li data-view="7">
            <a href="/2.mp3" singer="任贤齐">沧海一声笑</a>
        </li>
        <li data-view="4" class="active">
            <a href="/3.mp3" singer="齐秦">往事随风</a>
        </li>
        <li data-view="6"><a href="/4.mp3" singer="beyond">光辉岁月</a></li>
        <li data-view="5"><a href="/5.mp3" singer="陈慧琳">记事本</a></li>
        <li data-view="5">
            <a href="/6.mp3" singer="邓丽君">但愿人长久</a>
        </li>
    </ul>
</div>'''
html = re.sub('<a.*?>|</a>', '', html) #把<a...> 或</a>替换为空''
print(html)
results = re.findall('<li.*?>(.*?)</li>', html, re.S)
print(results)
for result in results:
    print(result.strip())

7. re.compile

将一个正则表达式串编译成正则对象，以便于复用该匹配模式.

import re

content = '''Hello 1234567 World_This
is a Regex Demo'''
#便于复用 直接用pattern就好了 不需要再写一遍字符串
pattern = re.compile('Hello.*Demo', re.S) #把正则表达式字符串先编译成对象
result = re.match(pattern, content) #此时第一个参数是正则表达式对象
#result = re.match('Hello.*Demo', content, re.S)  #与上面等价 此时第一个参数是正则表达式串
print(result)
'''
#还有一种写法是
pattern = re.compile('Hello.*Demo', re.S) #把正则表达式字符串先编译成对象
#直接用对象调用方法
result = pattern.match(content) #此时第一个正则表达式参数可以不用写
'''

8. 实战

import requests
import re
headers = {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36'
}

response = requests.get('https://book.douban.com/',headers=headers)
print(response.status_code)
content = response.text
print(content)
#获取url 书名 作者 日期
'''
<div class="info">
              <div class="title">
                <a class="" href="https://book.douban.com/subject/33447868/?icn=index-latestbook-subject" title="精致的独处">精致的独处</a>
              </div>
              <div class="author">
                [美]斯蒂芬妮·罗森布鲁姆
              </div>
              <div class="more-meta">
                <h4 class="title">
                  精致的独处
                </h4>
                <p>
                  <span class="author">
                    [美]斯蒂芬妮·罗森布鲁姆
                  </span>
                  /
                  <span class="year">
                    2019-6
                  </span>
                  /
                  <span class="publisher">
                    未读·文艺家 北京联合出版公司
                  </span>
                </p>
                <p class="abstract">
                  
                  斯蒂芬妮•罗森布鲁姆用一种全新的方式道出了独处的价值。
-
罗森布鲁姆将自己的观察、思考与心理学、社会学的研究结果相结合，以自我的亲身体验和艺术家、文学家们的生活为样本，剖析独处之于每个人的重要意义，回答什么是有益的独处，如何让独处有价值。
她以优雅的笔触记录她一年当中的旅行足迹，向我们展示了如何在一成不变的城市生活中，通过独处，梳理自己与外界...
                </p>
              </div>
            </div>
'''
pattern = re.compile('<div class="info".*?title.*?href="(.*?)".*?more-meta.*?title">(.*?)</h4>.*?author">(.*?)</span>.*?year">(.*?)</span>.*?</div>', re.S)
results = re.findall(pattern, content)
for result in results:
    url, name, author, date = result
    author = re.sub('\s', '', author)
    date = re.sub('\s', '', date)
    print(url, name, author, date)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

CoreJT
关注
专栏目录
〖Python语法进阶篇⑪〗- 正则表达式的量词
易编橙 · 终身成长社群，相遇已是上上签！
04-16 4万+
上一章节我们学习了 ['正则表达式的字符匹配'] ，并做了针对性的练习，在最后也发起了一个思考的问题。通过正则的规则匹配到的信息都是一个单独的字符存到输出结果中的，如何更够根据字符串中的词组进行匹配呢？现在就来解决这个问题，所以今天的章节我们的学习目标就是正则表达式的 `量词符号与组的概念` ，从而解决上一章节的疑惑。
[网络安全自学篇] 十四.Python攻防之基础常识、正则表达式、Web编程和套接字通信（一）
杨秀璋的专栏
09-29 2万+
这是作者的系列网络安全自学教程，主要是关于网安工具和实践操作的在线笔记，特分享出来与博友共勉，希望您们喜欢，一起进步。前文分享了Wireshark抓包原理知识，并结合NetworkMiner工具抓取了图像资源和用户名密码，本文将讲解Python网络攻防相关基础知识，包括正则表达式、Web编程和套接字通信。本文参考了爱春秋ADO老师的课程内容，这里也推荐大家观看他Bilibili和ichunqiu的课程，同时也结合了作者之前的经验进行讲解。
Python中一些简单的正则表达式（爬虫所需(.*?)）
Kanny
04-18 5427
这篇博客旨在介绍使用爬虫时一些常用的正则表达式。 在之前，我一直都是一个谈正则表达式色变的人。因为正则表达式实在是太多太多，想要记得除非是经常用，否则也很难完全掌握其中所有的内容。所以这些东西都是现用现查，然后要一个一个的搜索，将自己所需要的进行查找。所以学习正则表达式都是根据实际需求来进行学习。 正好由于爬虫的需要（因为爬虫时HTML源码的结构非常规律，我们找到规律后根据规律来提取内容，就需...
Python3 正则表达式
qq_44798909的博客
05-15 238
常用的匹配模式 正则表达式是一个特殊的字符序列，它能帮助你方便的检查一个字符串是否与某种模式匹配。 re 模块使 Python 语言拥有全部的正则表达式功能。 re.match函数   re.match 尝试从字符串的起始位置匹配一个模式，如果不是起始位置匹配成功的话，match()就返回none re.match(pattern, string, flags=0) pattern 匹配的正则...
【MySQL必知必会(六)】【用正则表达式进行搜索】
LinGavinQ
09-22 825
正则表达式是用来匹配文本的特殊的串。
3. Python爬虫进阶基础——正则表达式详解
简时刻的博客
06-11 1509
一、什么是正则表达式 正则表达式（regular expression）是用来进行较为复杂的文本处理。特别是复杂的查找和替换处理的计算机语言。
python re正则表达式提取含有某些关键词的句子，findall()查找含有关键词的句子
最新发布
L_goodboy的博客
10-24 2660
python re正则表达式提取含有某些关键词的句子，findall()查找含有关键词的句子
python爬虫之数据提取、正则表达式、xml、XPath、etree、CSS选择器 BeautifulSoup4
reb0rn
04-16 9651
1、页面解析和数据提取简介 （1）结构数据：先有的结构，再谈数据 -JSON文件 -JSON Path -转换成python类型进行操作（json类） -XML文件 -转换成python类型（xmltodict） -XPath ...
pythonselenium提高爬虫效率_结合Selenium和正则表达式提高爬虫效率
weixin_39867200的博客
12-10 1489
任务爬取https://www.aliexpress.com/wholesale?SearchText=cartoon+case&d=y&origin=n&catId=0&initiative_id=SB_20200523214041这个页面下的商品详情，由于页面是异步加载的，需要使用Selenium模拟浏览器来获取商品url。但直接使用Selenium定位网页元素...
正则表达式入门指南：基本语法与应用
正则表达式广泛应用于文本处理、数据校验、网络爬虫、日志分析等各个领域。无论是前端、后端开发还是系统运维工作，都可能需要用到正则表达式。 ## 1.3 正则表达式的基本语法 正则表达式的基本语
python网络爬虫简单项目_python网络爬虫之四简单爬取豆瓣图书项目
weixin_39997695的博客
11-20 152
一.爬虫项目一：豆瓣图书网站图书的爬取：importrequestsimportrecontent= requests.get("https://book.douban.com/").text#注：此时我们打印输出结果，可以看到输出我们的网页字符串：#print(content)#然后我们编辑匹配豆瓣图书网站抓取图书所用到的正则表达式。pattern = re.compile(r'(.*?).*?...
re.search与re.findall的区别
baofeifei121088的博客
04-21 7920
re.search和re.findall的区别和联系 re.search 函数返回的结果是 一个Match对象  常见的获得对应的值的方法 通过Match对象内的group编号或命名，获得对应的值 re.findall 函数返回的结果是 一个列表； 列表中每个元素的值的类型，取决于你的正则表达式的写法 是元组tuple：当你的正则表达式中有（带捕获的
python re的findall和finditer
wali_wang的博客
02-03 2万+
python正则模块re中findall和finditer两者相似，但却有很大区别。 两者都可以获取所有的匹配结果，这和search方法有着很大的区别，同时不同的是一个返回list，一个返回一个MatchObject类型的iterator 假设我们有这样的数据：其中数字代表电话号，xx代表邮箱类型 content = '''email:12345678@163.com email:234
python正则模块re.findall的问题
morein2008的专栏
09-08 596
发现python的正则模块re的findall方法跟我预想的不太一样，它匹配的时候会消耗掉之前已经匹配到的字符，例如： [In]: import re pat=',\d+,' #表示一个或以上整数前后都有一个逗号 text='1,2,3,4,5,6,7,' [In]: result=re.findall(pat,text) print(result) [Out]: [',2,', ',4,',...
正则系列3： re.findall用法
Sirow的博客
04-22 6930
re.findall 搜索字符串，以列表形式返回能匹配的字符 该方法有3个参数，第一个就是你写的正则表达式，第二个匹配的目标字符串，第三个是一个匹配模式 re.findall(pattern, string, flags=0) 匹配演练 实战的效果是最好的，直接练习 #search是找一个结果的，findall是查询所有结果的。 import re html='''<div id="s...
Python 正则re模块之findall()详解
热门推荐
zd147896325的博客
01-09 7万+
1. 先说一下findall()函数的两种表示形式 import re kk = re.compile(r'\d+') kk.findall('one1two2three3four4') #[1,2,3,4] #注意此处findall()的用法，可传两个参数; kk = re.compile(r'\d+') re.findall(kk,"one123") #[1,2,3] 2. 正则表达
正则表达式 re.findall 用法
xiaminli的博客
07-19 1万+
http://www.cnblogs.com/xieshengsen/p/6727064.html 正则 re.findall 的简单用法（返回string中所有与pattern相匹配的全部字串，返回形式为数组）语法： 1 findall(pattern, string, flags=0) i
Python基础Pro | (1) Python基础
sdu_hao的博客
09-02 1141
本文取自廖雪峰Python教程，原文地址https://www.liaoxuefeng.com/wiki/1016959663602400。 目录 1. 数据类型和变量 2. 字符串和编码 3. 使用list和tuple 4. 条件判断 5. 循环 6. 使用dict和set 1. 数据类型和变量 数据类型 计算机顾名思义就是可以做数学计算的机器，因此，计算机程序理所当然地可以处...
Python网络爬虫：Re库正则表达式实战入门
在《Python网络爬虫与信息提取》第三周的实战学习笔记中，主要探讨了正则表达式（Regular Expression，简称RE）在网络爬虫中的应用。正则表达式是用于匹配、查找和替换文本中特定模式的工具，是编程和数据处理中的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值