Python爬虫常用库（二）正则表达式

最新推荐文章于 2020-08-12 17:27:31 发布
最新推荐文章于 2020-08-12 17:27:31 发布
阅读量196 收藏
点赞数 1
分类专栏： Python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43749739/article/details/104991787
版权

一、测试站点：正则表达式在线工具
二、语法
注：字符串前加r，或使用双反斜杠\实现对转义字符取消转义

模式描述
^指定匹配字符串的开头
$指定匹配字符串的末尾 例：*HelloDemo$指定模式串以"Hello"为首，"Demo"为尾
\w匹配一个字母/数字/下划线/汉字
\W匹配一个非字母/数字/下划线/汉字
\s匹配一个任意空白字符，等价于 [\t\n\r\f].
\S匹配一个任意非空字符
\d匹配一个任意数字，等价于 [0-9].
\D匹配一个任意非数字
.匹配任意字符，除了换行符，当re.DOTALL标记被指定时，则可以匹配包括换行符的任意字符。
*匹配0个或多个的表达式（有就匹配，没有拉倒） 例：.*匹配0或多个任意字符
+匹配1个或多个的表达式。注意：若存在语法指定字符，则至少匹配到一个
?匹配0个或1个由前面的正则表达式定义的片段，非贪婪方式
()1、将括号内的正则表达式作为一个组 2、该组作为匹配目标
\1…\9匹配第n个分组，即括号中的匹配目标的内容。
|指定匹配字符串的开头
参数re.S使 . 匹配包括换行在内的所有字符，即可视为DOTALL
参数re.l匹配过程对大小写不敏感
[…]用来表示一组字符,单独列出：[amk] 匹配 ‘a’，‘m’或’k’
[^…]不在[]中的字符：[^abc] 匹配除了a,b,c之外的字符。
re{ n}精确匹配 n 个前面表达式。例如， o{2} 不能匹配 “Bob” 中的 “o”，但是能匹配 “food” 中的两个 o。
re{ n,}匹配 n 个前面表达式。例如， o{2,} 不能匹配"Bob"中的"o"，
re{ n, m}匹配 n 到 m 次由前面的正则表达式定义的片段，贪婪方式
ab
(?imx)正则表达式包含三种可选标志：i, m, 或 x 。只影响括号中的区域。
(?-imx)正则表达式关闭 i, m, 或 x 可选标志。只影响括号中的区域。
(?: re)类似 (…), 但是不表示一个组
(?imx: re)在括号中使用i, m, 或 x 可选标志
(?-imx: re)在括号中不使用i, m, 或 x 可选标志
(?#…)注释.
(?= re)前向肯定界定符。如果所含正则表达式，以 … 表示，在当前位置成功匹配时成功，否则失败。但一旦所含表达式已经尝试，匹配引擎根本没有提高；模式的剩余部分还要尝试界定符的右边。
(?! re)前向否定界定符。与肯定界定符相反；当所含表达式不能在字符串当前位置匹配时成功
(?> re)匹配的独立模式，省去回溯。
\A匹配字符串开始
\Z匹配字符串结束，如果是存在换行，只匹配到换行前的结束字符串。
\z匹配字符串结束
\G匹配最后匹配完成的位置。
\b匹配一个单词边界，也就是指单词和空格间的位置。例如， ‘er\b’ 可以匹配"never" 中的 ‘er’，但不能匹配 “verb” 中的 ‘er’。
\B匹配非单词边界。‘er\B’ 能匹配 “verb” 中的 ‘er’，但不能匹配 “never” 中的 ‘er’。
\n, \t, 等.匹配一个换行符。匹配一个制表符。等
\10匹配第n个分组的内容，如果它经匹配。否则指的是八进制字符码的表达式。

三、re库
1、re.match
优先使用.*?非贪婪范匹配，使用()捕捉匹配目标
（1）re.match(pattern, content, flags = 0)从字符串首开始匹配。
（2）匹配成功时
re.match()返回匹配对象
re.match().group()为匹配结果串
re.match().group(i)返回匹配结果串中 语法里第i个()中的内容
re.match().span()为匹配结果串下标域

例1：常规匹配

import re

"""
从头开始匹配内容为"Hello 123 4567 World_This is a Regex Demo"的字符串
"""
content = "Hello 123 4567 World_This is a Regex Demo"
result = re.match("^Hello\s\d{3}\s\d{4}\s\w{10}\s\w{2}\s\w\s\w{5}\sDemo$", content)
if result != None:
    print(result)# <re.Match object; span=(0, 41), match='Hello 123 4567 World_This is a Regex Demo'>
    print(result.group())# Hello 123 4567 World_This is a Regex Demo
    print(result.span())# (0, 41)
else:
    print("Fail to match!")

例2：范匹配

import re

"""
从头开始匹配以"Hello"开头、"Demo"结尾的字符串
"""

content = "Hello 123 4567 World_This is a Regex Demo"
result = re.match("^Hello.*Demo$", content)
if result != None:
    print(result)# <re.Match object; span=(0, 41), match='Hello 123 4567 World_This is a Regex Demo'>
    print(result.group())# Hello 123 4567 World_This is a Regex Demo
    print(result.span())# (0, 41)
else:
    print("Fail to match!")

例3：匹配目标

import re

"""
从头开始匹配以"Hello"开头、"Demo"结尾的字符串中第一个内容为"1234567"的子串
"""

content = "Hello 123 4567 World_This is a Regex Demo"
result = re.match("^Hello\s(\d*).*Demo$", content)
if result != None:
    print(result)
    print(result.group(1))
    print(result.span())
else:
    print("Fail to match!")

例4：贪婪&非贪婪匹配：匹配尽可能多的语法指定字符

import re

content = "Hello 123 4567 World_This is a Regexo Demo"
result = re.match("^He.*?(\d+).*(\d+).*Demo$", content)
print(result.group())
print(result.group(1))# .*?非贪婪方式，补货整块数字123
print(result.group(2))# .*贪婪房是，4567中仅捕获到7

例5：模式串中含正则表达式语法中的字符，在左添加转义字符’'消歧

import re

content = "Price is $5.00"
result = re.match("Price is $5.00", content)
print(result)
result = re.match("Price is \$5\.00", content)
print(result)

2、re.search()
（1）扫描整个字符串，返回第一个成功的匹配

import re

content = "Extra strings Hello 123 4567 World_This is a Regex Demo Extra strings"
result = re.search("Hello.*?(\d+\s\d+).*Demo", content)
print(result)
print(result.group(1))# 123 4567

3、re.findall(pattern, content, flag = 0)
返回content中所有符合正则表达式的结果，为一个元组列表，元组中是正则表达式中括号内的内容

例1：提取html中所有歌手-歌名: 超链接

import re

class Song():
    def __init__(self, href, singer, name):
        if len(href) != 0:
            self.href = href
        else:
            self.href = "NULL"
        if len(singer) != 0:
            self.singer = singer
        else:
            self.singer = "NULL"
        if  len(name) != 0:
            self.name = name
        else:
            self.name = "NULL"

html = '''<div id="songs-list">
    <h2 class="title">经典老歌</h2>
    <p class="introduction">
        经典老歌列表
    </p>
    <ul id="list" class="list-group">
        <li data-view="2">一路上有你</li>
        <li data-view="7">
            <a href="/2.mp3" singer="任贤齐">沧海一声笑</a>
        </li>
        <li data-view="4" class="active">
            <a href="/3.mp3" singer="齐秦">往事随风</a>
        </li>
        <li data-view="6"><a href="/4.mp3" singer="beyond">光辉岁月</a></li>
        <li data-view="5"><a href="/5.mp3" singer="陈慧琳">记事本</a></li>
        <li data-view="5">
            <a href="/6.mp3" singer="邓丽君">但愿人长久</a>
        </li>
    </ul>
</div>'''

musics = []
results = re.findall('<li.*?>\s*?(<a href="(.*?)" singer="(.*?)">)?(\w*?)(</a>)?\s*?</li>', html)
for result in results:
    musics.append( Song( href = result[1], singer = result[2], name = result[3] ) )
for song in musics:
    print(song.singer + "-" + song.name + ": " + song.href)
'''
NULL-一路上有你: NULL
任贤齐-沧海一声笑: /2.mp3
齐秦-往事随风: /3.mp3
beyond-光辉岁月: /4.mp3
陈慧琳-记事本: /5.mp3
邓丽君-但愿人长久: /6.mp3
'''

4、re.sub(pattern, repl, content, count = 0, flags = 0)
repl为用于替换的字符串，也可为函数
count为最大替换次数
re.sub()返回content中符合正则表达式的部分被repl替换后的字符串。

例1：将所有数字转换为|NUM|

import re

content = "Extra strings Hello 4567 World_1This is2 a R3egex 1122 Demo Extra strings "
repl = "|NUM|"
result = re.sub("\d+", repl, content, 10)
print(result)
'''
Extra strings Hello |NUM| World_|NUM|This is|NUM| a R|NUM|egex |NUM| Demo Extra strings 
'''

例2：将所有数字替换为|original number:原数字|

import re

content = "first number:123, second number:456_789, third number:101112"
result = re.sub("(\d+)", r"|original number:\1 |", content, count = 4)
print(result)
'''
first number:|original number:123 |, second number:|original number:456 |_|original number:789 |, third number:|original number:101112 |
'''

例3：删除无关字符，匹配所有汉字

import re

html = '''<div id="songs-list">
    <h2 class="title">经典老歌</h2>
    <p class="introduction">
        经典老歌列表
    </p>
    <ul id="list" class="list-group">
        <li data-view="2">一路上有你</li>
        <li data-view="7">
            <a href="/2.mp3" singer="任贤齐">沧海一声笑</a>
        </li>
        <li data-view="4" class="active">
            <a href="/3.mp3" singer="齐秦">往事随风</a>
        </li>
        <li data-view="6"><a href="/4.mp3" singer="beyond">光辉岁月</a></li>
        <li data-view="5"><a href="/5.mp3" singer="陈慧琳">记事本</a></li>
        <li data-view="5">
            <a href="/6.mp3" singer="邓丽君">但愿人长久</a>
        </li>
    </ul>
</div>'''
result = re.sub('<.*?>', '', html, count = 1000)
print(result)
songs = re.findall('\s*(\w*)\s', result, re.S)
for song in songs:
    print(song)
'''
    经典老歌
    
        经典老歌列表
    
    
        一路上有你
        
            沧海一声笑
        
        
            往事随风
        
        光辉岁月
        记事本
        
            但愿人长久
        
    

经典老歌
经典老歌列表
一路上有你
沧海一声笑
往事随风
光辉岁月
记事本
但愿人长久
'''

5、re.compile(pattern, flags = 0)
将正则表达式的样式编译为一个 正则表达式对象 （正则对象），可以使用re的匹配方法进行匹配匹配

prog = re.compile(pattern)
result = prog.match(string)
#等价于
result = re.match(pattern, string)

例1：提取所有单词，数字，汉字

import re

html = '''<div id="songs-list">
    <h2 class="title">经典老歌</h2>
    <p class="introduction">
        经典老歌列表
    </p>
    <ul id="list" class="list-group">
        <li data-view="2">一路上有你</li>
        <li data-view="7">
            <a href="/2.mp3" singer="任贤齐">沧海一声笑</a>
        </li>
        <li data-view="4" class="active">
            <a href="/3.mp3" singer="齐秦">往事随风</a>
        </li>
        <li data-view="6"><a href="/4.mp3" singer="beyond">光辉岁月</a></li>
        <li data-view="5"><a href="/5.mp3" singer="陈慧琳">记事本</a></li>
        <li data-view="5">
            <a href="/6.mp3" singer="邓丽君">但愿人长久</a>
        </li>
    </ul>
</div>'''

pattern = re.compile('\W+(\w*)\W+')
words = pattern.findall(html)
for word in words:
    print(word, end = "、")
'''
div、songs、h2、title、h2、class、经典老歌列表、ul、list、list、li、view、一路上有你、li、view、a、2、singer、沧海一声笑、li、data、4、active、href、mp3、齐秦、a、li、view、a、4、singer、光辉岁月、li、data、5、href、mp3、陈慧琳、a、li、view、a、6、singer、但愿人长久、li、div、
'''
Siumai
关注
专栏目录
python爬虫（一） 正则表达式
Qton_CSDN的博客
04-17 754
先上实例吧 如我想在字符串“dsaasdasdqwe33423weasdasdasds”中找出数字部分 import re String='dsaasdasdqwe33423weasdasdasds' key=r'[0-9]+' f_a=re.compile(key) f_all=f_a.findall(String) for i in f_all: print(i) 运行结果：
Python爬虫- 正则表达式
最新发布
LCZLYZ的博客
03-28 282
Python小白学习笔记
三、正则表达式的基本用法
七月的summer
06-23 501
正则表达式 正则表达式是用一定的规则将特定的文本提取初来，是处理字符串的强大工具。 开源中国提供的正则表达式测试工具 常用的匹配规则 一.match() 向match()传入要匹配的字符串以及正则表达式，就可以检测这个正则表达式是否匹配字符串。 match()方法默认从字符串的起始位置匹配正则表达式，如果匹配，就返回匹配的结果，否则就返回None。 第一个参数是正则表达式，第二个参数是要匹配的字符串。 import re content='Hello 123 4567 World_This is a Re
【Python3 爬虫学习笔记】基本库的使用 8—— 正则表达式 1
冰度猎魂的博客
09-17 154
三、正则表达式 1.实例引入 打开开源中国提供的正则表达式测试工具 http://tool.oschina.net/regex/ ，输入待匹配的文本，然后选择常用的正则表达式，就可以得出相应的匹配结果。 对于URL来说，可以用下面的正则表达式匹配： [a-zA-z]+://[^\s]* 用这个正则表达式去匹配一个字符串，如果这个字符串中包含类似URL的文本，那就会被提取出来。 常用的匹配规则： ...
python正则表达式-re
weixin_30625691的博客
12-24 67
正则表达式是处理字符串的强大工具，能够实现字符串的检索、替换、匹配验证等 正则表达式常用匹配规则如下： 模式 描述 \w 匹配字符、数字以及下划线的字符 \W 匹配不是字符、数字以及下划线的字符 \s 匹配任意空白字符 \S ...
正则表达式不得不知道的re用法
YuG-JESON
03-13 268
正则表达式是一个特殊的字符序列，它能帮助你方便的检查一个字符串是否与某种模式匹配。 Python 自1.5版本起增加了re 模块，它提供 Perl 风格的正则表达式模式。 re 模块使 Python 语言拥有全部的正则表达式功能。 compile 函数根据一个模式字符串和可选的标志参数生成一个正则表达式对象。该对象拥有一系列方法用于正则表达式匹配和替换。 re 模块也提供了与这些方法功能完...
Python爬虫第4课 正则表达式基础
黎明前最后的黑暗的博客
04-24 536
正则表达式基础 目标 ● 什么是正则表达式 ●详细讲解 01.什么是正则表达式 正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定的字符以及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用俩表达对字符串的一种过滤逻辑。 非Python独有，re模块实现。 02.详细讲解 2.1 常用的匹配模式 模式 描述 \w 匹配字母数字及下划线 \W 匹配f...
Python爬虫 Re库与正则表达式的细节解析
01-20
文章目录Python爬虫（二十三）—— Re库与正则表达式的细节解析 ——1. 麻烦的反斜杠2. 零宽断言 1. 麻烦的反斜杠 上一篇中我们已经提到了，正则表达式使用 ‘’ 字符来使得一些普通的字符拥有特殊的能力（例如 \d...
Python 爬虫学习笔记之正则表达式
12-25
想要学习 Python 爬虫 ， 首先需要了解一下正则表达式的使用，下面我们就来看看如何使用。 . 的使用这个时候的点就相当于一个占位符，可以匹配任意一个字符，什么意思呢？看个例子就知道 import re content = ...
python爬虫实践_京东商品信息（正则表达式）
12-27
看标题，结果生成excel表格 注： 使用时，header需要更改为自己浏览器中的，附加查找方法 有些运行不了可能是有些库没有安装，在命令行里，打开python的scripts文件夹下使用pip install 库的名字，即可安装
Python正则表达式总结
成功唯有积累，没有奇迹。
10-15 301
| 模式| 描述| |----|----| | \w | 匹配字母数字及下划线 | | \W | 匹配非字母数字下划线 | | \s | 匹配任意空白字符，等价于 [\t\n\r\f]. | | \S | 匹配任意非空字符 | | \d | 匹配任意数字，等价于 [0-9] | | \D | 匹配任意非数字 | | \A | 匹配字符串开始 | | \Z | 匹配字符串结束，如果是存在换行，只匹...
模型评估：训练、验证、测试
Siumai's Blog
06-09 3916
一、数据集的划分 （一）学习目标 在理想情况下，通过机器学习，我们希望可以获得一个拥有出色泛化能力的模型。即能够在前所未见的数据样本上举一反三，正确分析预测。 （二）假设 1、全部数据集作为训练集 只要选取模型适当，在若干轮迭代轮次后一定能够得到在训练集上性能优越的模型。但其泛化能力不得而知。 2、划分为训练集和测试集 增加了测试集部分，在训练集上训练模型，在测试集上评估模型并作为泛化能力的指标。但总是基于同一个测试集进行参数调整，即使可以进一步得到在测试集上表现优秀的模型，但模型在测试集上过拟合不可避免（
[n, h, w, c]转[n, c, h, w]
Siumai's Blog
08-12 1703
由于Pytorch默认图片数据格式为[n, c, h, w]、rgb，因此若数据集为[n, h, w, c]格式时需要进行转换： # 为便于处理，先转为numpy数组 x = np.array(trainset['train_set_x']) x.shape, type(x) # ((1080, 64, 64, 3), numpy.ndarray) x = x.transpose([0, 3, 1, 2]) x = t.as_tensor(x) x.size() # torch.Size([1080, 3
Ubuntu18.04+tensorflow2.1.0+pytorch1.5环境搭建
Siumai's Blog
06-08 1329
一、安装ubuntu18.04 LTS （一）下载ubuntu系统映像 Ubuntu 18.04.4 LTS (Bionic Beaver) （二）制作系统安装盘 推荐工具：rufus （三）系统安装 注意：一定将bios设置中安全启动选项关闭！ （四）后续 1、ubuntu更换阿里云镜像源 2、 二、深度学习环境搭建 （一）GPU环境搭建 参考Tensorflow官方GPU配置指南进行搭建。 1、卸载旧显卡驱动及相关组件 # 终端输入： sudo apt-get purge nvidia* sudo ap
Python网络爬虫实战练习：爬取豆瓣图书信息
Siumai's Blog
03-24 903
一、注意事项 1、文件名尽量使用英文，避免出现编码问题 2、含中文的文件写入，注意标注编码，如： with open(r"C:\Users\10335\Desktop\response.txt", 'w', encoding = "utf-8") as f: f.write(html) f.close() 3、若长时间得不到输出，考虑正则表达式的构造是否捕捉效率不高 二、代码实现...
爬取百度云500张验证码图片
Siumai's Blog
04-03 795
from selenium import webdriver from selenium.webdriver.common.by import By import time import requests def save(url, path): response = requests.get(url) with open(path, 'wb') as img: ...
爬取百度图片450张猫图片
Siumai's Blog
04-13 676
import requests import json base_url = "http://image.baidu.com/search/acjson?tn=resultjson_com&ipn=rj&ct=201326592&is=&fp=" \ "result&queryWord=%E7%8C%AB&cl=2&lm...
Python爬虫常用库（一）urllib、requests
Siumai's Blog
03-20 370
一、urllib 1、请求 urillib.reques.urlopen(url = url, data = post_data, [time_out]*) （1）get类请求 from urllib import request response = request.urlopen("http://www.baidu.com") print(response.read().decode("utf...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值