正则表达式re模块

最新推荐文章于 2021-12-13 18:11:08 发布

weixin_42152274

最新推荐文章于 2021-12-13 18:11:08 发布

阅读量373

点赞数 1

本文链接：https://blog.csdn.net/weixin_42152274/article/details/88526736

版权

我们前面都接触了正则，那么正则表达式在爬虫中的重要性我们今天就来了解一下

为什么要学正则表达式

实际上爬虫一共就四个主要步骤：

明确目标 (要知道你准备在哪个范围或者网站去搜索)
爬 (将所有的网站的内容全部爬下来)
取 (去掉对我们没用处的数据)
处理数据（按照我们想要的方式存储和使用）

我们在昨天的案例里实际上省略了第3步，也就是"取"的步骤。因为我们down下了的数据是全部的网页，这些数据很庞大并且很混乱，大部分的东西使我们不关心的，因此我们需要将之按我们的需要过滤和匹配出来。

那么对于文本的过滤或者规则的匹配，最强大的就是正则表达式，是Python爬虫世界里必不可少的神兵利器。

正则表达式：又称规则表达式，通常被用来检索、替换那些符合某个模式(规则)的文本。

正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。

那么我们使用正则表达式要达到的目的是什么呢？

给定的字符串是否符合正则表达式的过滤逻辑（“匹配”）；
通过正则表达式，从文本字符串中获取我们想要的特定部分（“过滤”）。

正则表达式的匹配规则如下：

Python 的 re 模块

在 Python 中，我们可以使用内置的 re 模块来使用正则表达式。

有一点需要特别注意的是，正则表达式使用对特殊字符进行转义，所以如果我们要使用原始字符串，只需加一个 r 前缀，示例：

re 模块的一般使用步骤如下：

使用 compile() 函数将正则表达式的字符串形式编译为一个 Pattern 对象
通过 Pattern 对象提供的一系列方法对文本进行匹配查找，获得匹配结果，一个 Match 对象。
最后使用 Match 对象提供的属性和方法获得信息，根据需要进行其他的操作

compile 函数

compile 函数用于编译正则表达式，生成一个 Pattern 对象，它的一般使用形式如下：

import re

# 将正则表达式编译成 Pattern 对象

pattern = re.compile(r'\d+')

在上面，我们已将一个正则表达式编译成 Pattern 对象，接下来，我们就可以利用 pattern 的一系列方法对文本进行匹配查找了。

Pattern 对象的一些常用方法主要有：

match 方法：从起始位置开始查找，一次匹配
search 方法：从任何位置开始查找，一次匹配
findall 方法：全部匹配，返回列表
finditer 方法：全部匹配，返回迭代器
split 方法：分割字符串，返回列表
sub 方法：替换

修饰符号描述

re.I 使用匹配对大小写不敏感（不区分大小写）

re.S 使.匹配包括换行符在内的所有字符

re.M 多行匹配

re.L 做本地化识别

match 方法

match 方法用于查找字符串的头部（也可以指定起始位置），它是一次匹配，只要找到了一个匹配的结果就返回，而不是查找所有匹配的结果。它的一般使用形式如下：

match(string[, pos[, endpos]])

其中，string 是待匹配的字符串，pos 和 endpos 是可选参数，指定字符串的起始和终点位置，默认值分别是 0 和 len (字符串长度)。因此，当你不指定 pos 和 endpos 时，match 方法默认匹配字符串的头部。

当匹配成功时，返回一个 Match 对象，如果没有匹配上，则返回 None。

在上面，当匹配成功时返回一个 Match 对象，其中：

group([group1, …]) 方法用于获得一个或多个分组匹配的字符串，当要获得整个匹配的子串时，可直接使用 group() 或 group(0)；
start([group]) 方法用于获取分组匹配的子串在整个字符串中的起始位置（子串第一个字符的索引），参数默认值为 0；
end([group]) 方法用于获取分组匹配的子串在整个字符串中的结束位置（子串最后一个字符的索引+1），参数默认值为 0；
span([group]) 方法返回 (start(group), end(group))。

另一个例子：

正则规则学习参考网站：http://www.runoob.com/regexp/regexp-tutorial.html

search 方法用于查找字符串的任何位置，它也是一次匹配，只要找到了一个匹配的结果就返回，而不是查找所有匹配的结果，它的一般使用形式如下：

search(string[, pos[, endpos]])

其中，string 是待匹配的字符串，pos 和 endpos 是可选参数，指定字符串的起始和终点位置，默认值分别是 0 和 len (字符串长度)。

当匹配成功时，返回一个 Match 对象，如果没有匹配上，则返回 None。

让我们看看例子：

案例2:

上面的 match 和 search 方法都是一次匹配，只要找到了一个匹配的结果就返回。然而，在大多数时候，我们需要搜索整个字符串，获得所有匹配的结果。

findall 方法的使用形式如下：

findall(string[, pos[, endpos]])

其中，string 是待匹配的字符串，pos 和 endpos 是可选参数，指定字符串的起始和终点位置，默认值分别是 0 和 len (字符串长度)。

findall 以列表形式返回全部能匹配的子串，如果没有匹配，则返回一个空列表。

看看例子：

finditer 方法的行为跟 findall 的行为类似，也是搜索整个字符串，获得所有匹配的结果。但它返回一个顺序访问每一个匹配结果（Match 对象）的迭代器。

split 方法按照能够匹配的子串将字符串分割后返回列表，它的使用形式如下：

split(string[, maxsplit])

其中，maxsplit 用于指定最大分割次数，不指定将全部分割。

sub 方法

sub 方法用于替换。它的使用形式如下：

sub(repl, string[, count])

其中，repl 可以是字符串也可以是一个函数：

如果 repl 是字符串，则会使用 repl 去替换字符串每一个匹配的子串，并返回替换后的字符串，另外，repl 还可以使用 id 的形式来引用分组，但不能使用编号 0；
如果 repl 是函数，这个方法应当只接受一个参数（Match 对象），并返回一个字符串用于替换（返回的字符串中不能再引用分组）。
count 用于指定最多替换次数，不指定时全部替换。

匹配中文

在某些情况下，我们想匹配文本中的汉字，有一点需要注意的是，中文的 unicode 编码范围主要在 [u4e00-u9fa5]，这里说主要是因为这个范围并不完整，比如没有包括全角（中文）标点，不过，在大部分情况下，应该是够用的。

假设现在想把字符串 title = u'你好，hello，世界' 中的中文提取出来，可以这么做

注意：贪婪模式与非贪婪模式

贪婪模式：在整个表达式匹配成功的前提下，尽可能多的匹配 ( * )；
非贪婪模式：在整个表达式匹配成功的前提下，尽可能少的匹配 ( ? )；
Python里数量词默认是贪婪的。

示例一：源字符串：abbbc

使用贪婪的数量词的正则表达式 ab* ，匹配结果： abbb。

* 决定了尽可能多匹配 b，所以a后面所有的 b 都出现了。
使用非贪婪的数量词的正则表达式ab*?，匹配结果： a。

即使前面有 *，但是 ? 决定了尽可能少匹配 b，所以没有 b。

示例二：源字符串：aa<div>test1</div>bb<div>test2</div>cc

使用贪婪的数量词的正则表达式：<div>.*</div>
匹配结果：<div>test1</div>bb<div>test2</div>

这里采用的是贪婪模式。在匹配到第一个“</div>”时已经可以使整个表达式匹配成功，但是由于采用的是贪婪模式，所以仍然要向右尝试匹配，查看是否还有更长的可以成功匹配的子串。匹配到第二个“</div>”后，向右再没有可以成功匹配的子串，匹配结束，匹配结果为“<div>test1</div>bb<div>test2</div>”

使用非贪婪的数量词的正则表达式：<div>.*?</div>
匹配结果：<div>test1</div>

正则表达式二采用的是非贪婪模式，在匹配到第一个“</div>”时使整个表达式匹配成功，由于采用的是非贪婪模式，所以结束匹配，不再向右尝试，匹配结果为“<div>test1</div>”。

现在拥有了正则表达式这把神兵利器，我们就可以进行对爬取到的全部网页源代码进行筛选了。

下面我们一起尝试一下爬取内涵段子网站： http://www.neihan8.com/article/list_5_1.html

打开之后，不难看到里面一个一个灰常有内涵的段子，当你进行翻页的时候，注意url地址的变化：

第一页url: http: //www.neihan8.com/article/list_5_1 .html
第二页url: http: //www.neihan8.com/article/list_5_2 .html
第三页url: http: //www.neihan8.com/article/list_5_3 .html
第四页url: http: //www.neihan8.com/article/list_5_4 .html

这样我们的url规律找到了，要想爬取所有的段子，只需要修改一个参数即可。下面我们就开始一步一步将所有的段子爬取下来吧。

第一步：获取数据

1. 按照我们之前的用法，我们需要写一个加载页面的方法。

这里我们统一定义一个类，将url请求作为一个成员方法处理。

我们创建一个文件，叫dunzi_spider,py

然后定义一个Spider类，并且添加一个加载页面的成员方法

loadPage的实现体想必大家应该很熟悉了，需要注意定义python类的成员方法需要额外添加一个参数self.

2. 写main函数测试一个loadPage方法

3.处理数据并写文文件

执行顺序如下：

（1）

import re

import urllib.request

class Spider:

def __init__(self):

# 初始化起始页面位置

self.page = 1

# 爬取开关，如果为True继续爬取

self.switch = True

def loadPage(self):

# 下载页面

print("正在下载数据...")

url = "http://www.neihan8.com/article/list_5_" + \

str(self.page) + ".html"

headers = {

"User_Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.12; rv:58.0) Gecko/20100101 Firefox/58.0"

}

#向网页发起请求，获取网页返回的Response对象

urlrequest = urllib.request.Request(url, headers=headers)

response = urllib.request.urlopen(urlrequest)

html = response.read()

html = html.decode('gbk')

print("数据获取成功")

# 创建正则表达式规则创建对象，匹配每一页里面的段子内容，re.S

# 表示匹配全部字符串内容

pattern = re.compile('<div\sclass="f18 mb20">(.*?)</div>', re.S)

# 将正则匹配对西那个应用到html源码字符里面，返回这个页面里的所有段子列表

content_list = pattern.findall(html)

self.dealPage(content_list)

def dealPage(self, content_list):

# 处理每页的段子

print("正在处理数据...")

for item in content_list:

# 将集合里面的额每一个段子循环处理

item = item.replace("<p>", "").replace(

"</p>", "").replace("<br>", "").replace("<br />", "")

# print(item)

#调用写入方法写入文件

self.writePage(item)

def writePage(self, item):

print("正在写入数据...")

with open("duanzi.txt", "a") as f:

f.write(item)

#把每个段子写入文件里面

def startWork(self):

"""

控制爬虫的运行

"""

#循环执行，知道self。switch == Flase

while self.switch:

self.loadPage()

#python3 语法

command = input("如果继续爬取请按回车(退出输入Q)")

#python2语法

# command = raw_input("如果继续爬取请按回车(退出输入Q)")

if command == "Q":

self.switch = False

print("谢谢使用")

#每次循环，页面码数加一

self.page += 1

if __name__ == "__main__":

#先初始化一个类对象

duanziSpider = Spider()

#采用类的对象来调用类的方法

duanziSpider.startWork()

最终的结果为：

作业根据今天所讲的案例完成如下作业:

通过正则表达式来获取猫眼电影网站数据

#1.目标站点分析：http://maoyan.com/board/4

#2.当我们点击下一页的时候观察页面地址的不同之处

#http://maoyan.com/board/4?offset=90 ，多了一个偏移量offset

# 项目实现流程：

# 1.分析页面

# 2.requests抓取页面内容

# 3.正则表达式分析，获取页面数据

# 4.将数据内容保存至文件（json文件）

从页面中提取如下字段并保存：

"index":, 序号

"image": 电影图片地址

"title": 电影标题

"actor": 导演演员

"time": 上演时间

"source": 评分

"adress":发布地址

保存结果如下：

weixin_42152274

关注

1
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
正则表达式re模块

我们前面都接触了正则，那么正则表达式在爬虫中的重要性我们今天就来了解一下为什么要学正则表达式实际上爬虫一共就四个主要步骤：明确目标 (要知道你准备在哪个范围或者网站去搜索) 爬 (将所有的网站的内容全部爬下来) 取 (去掉对我们没用处的数据) 处理数据（按照我们想要的方式存储和使用）我们在昨天的案例里实际上省略了第3步，也就是"取"的步骤。...
复制链接

扫一扫