我的爬虫学习之旅 (三) 正则表达式

正则表达式

正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。用大白话来讲，正则表达式是一种匹配模式，能够从目标文本内容中匹配到预定义的字串序列。

关于正则表达式的语法以及学习可以在B站中查看有关视频教程，在这里推荐这篇文字教程：

正则表达式30分钟入门教程

当然，正则表达式的学习需要时常练习，对于那些常用到的语法规则需熟记于心。在一开始的学习不能够急于求成，网上的大部分教程并非每个都适合自己，需要多做比对耐心学习，你便能掌握这一套规则体系。

python中引入re模块，便能使用正则表达式处理函数。

import re

---

一、re.match()

re.match()尝试从字符串的起始位置匹配一个模式，如果字符串开始不符合正则表达式，match()就返回none。

re.match(pattern, string, flags=0)

pattern：匹配模式

string：待匹配的字符串

flags：标志位，控制匹配方式（支持多行匹配以及大小写等）

 

 如果匹配模式带有^或$的标志位，则必须完全符合待匹配字符串开始与结束的位置。

line = "Cats are 1 smarter than dogs";

res = re.match('Cat.*?(\d+).*?s$', line)

print(res.group())
print(res.group(1))
print(res.span())

输出：

Cats are 1 smarter than dogs
1
(0, 28)

group()方法获取匹配的结果，当正则表达式中带有括号时，group括号内的数字记录正则表达式中对应括号（从1开始）内所匹配的内容。

span()获去匹配字符串的长度范围

贪婪匹配 （.*） 与懒惰匹配 （.*?）： 一个是尽可能多的匹配模式字符串，另一个是尽量匹配最短的串。在我们使用括号来获得匹配目标时，应尽量使用懒惰模式。

---

二、re.search()

re.search 扫描整个字符串并返回第一个成功的匹配。

re.search(pattern, string, flags=0)

 无需从头开始匹配，与match()一样支持group()与span()方法，搜索整个字符串，匹配到一个符合的结果就返回。

---

三、re.findall()

在字符串中找到正则表达式所匹配的所有子串，并返回一个列表，如果没有找到匹配的，则返回空列表。

match 和 search 是匹配一次，而 findall 匹配所有。

re.findall(pattern, string, flags=0)

---

四、re.compile()

compile 函数用于编译正则表达式，生成一个正则表达式（ Pattern ）对象 ，供 match() 和 search() 这两个函数使用，以便之后使用这个模式。

my_pattern = re.compile(pattern, flags=0)

re.search(my_pattern, string)

---

五、re.sub()

替换字符串中被匹配的子串，并返回替换后的字符串。

phone = "2004-959-559 
  
# 删除非数字(-)的字符串 
num = re.sub(r'\D', "", phone)

---

六、re.split()

按照能够匹配的子串将字符串分割后返回列表。

# 注意最后一个单词某位处有一个.号
res = re.split('\W+', 'runoob, runoob, runoob.')
print(res)

输出：

['runoob', 'runoob', 'runoob', '']

---

七、可选标志

re.I	使匹配对大小写不敏感

re.S	使 . 匹配包括换行在内的所有字符