python爬虫 -- 正则表达式 与 Re模块的介绍

Regular Expression,正则表达式,一种使用表达式的方式对字符串进行匹配的语法规则.

爬虫中我们抓取到的网页源代码本质上就是一个超长的字符串,想从里面提取内容.用正则再合适不过了.

正则的语法: 使⽤元字符进⾏排列组合⽤来匹配字符串

元字符

具有固定含义的特殊符号

常⽤元字符

1  . 匹配除换⾏符以外的任意字符, 
2. \w 匹配字⺟或数字或下划线
3.  \s 匹配任意的空⽩符
4 \d 匹配数字
5 \n 匹配⼀个换⾏符
6 \t 匹配⼀个制表符
78 ^ 匹配字符串的开始
9 $ 匹配字符串的结尾
10
11 \W 匹配⾮字⺟或数字或下划线
12 \D 匹配⾮数字
13 \S 匹配⾮空⽩符
14 a|b 匹配字符a或字符b
15 () 匹配括号内的表达式，也表示⼀个组
16 [...] 匹配字符组中的字符
17 [^...] 匹配除了字符组中字符的所有字符

量词: 控制前⾯的元字符出现的次数

1  * 重复零次或更多次
2 + 重复⼀次或更多次
3 ? 重复零次或⼀次
4 {n} 重复n次 5 {n,} 重复n次或更多次
6 {n,m} 重复n到m次

贪婪匹配和惰性匹配

1 .* 贪婪匹配, 尽可能多的去匹配结果
2 .*? 惰性匹配, 尽可能少的去匹配结果 -> 回溯

这两个要着重的说⼀下. 因为我们写爬⾍⽤的最多的就是这个惰性匹
配

RE模块

那么接下来的问题是, 正则我会写了, 怎么在python程序中使⽤正则
呢?

答案是re模块

re模块中我们只需要记住这么⼏个功能就⾜够我们使⽤了.

1. findall 查找所有. 返回list

lst = re.findall("m", "mai le fo len, mai nimei!")
print(lst) # ['m', 'm', 'm']
lst = re.findall(r"\d+", "5点之前. 你要给我5000
万")
print(lst) # ['5', '5000']

2. search 会进⾏匹配. 但是如果匹配到了第⼀个结果. 就会返回这
个结果. 如果匹配不上search返回的则是None

ret = re.search(r'\d', '5点之前. 你要给我5000万').group()
print(ret) # 5

3. match 只能从字符串的开头进⾏匹配

1 ret = re.match('a', 'abc').group() 
2 print(ret) # a

4. finditer, 和findall差不多. 只不过这时返回的是迭代器(重点)

it = re.finditer("m", "mai le fo len, mai nimei!") 
	for el in it: 
	 print(el.group())#依然需要分组

5. compile() 可以将⼀个⻓⻓的正则进⾏预加载. ⽅便后⾯的使⽤

obj = re.compile(r'\d{3}') # 将正则表达式编译成为⼀个 正则表达式对象, 规则要匹配的是3个数字
ret = obj.search('abc123eeee') # 正则表达式对象调⽤search, 参数为待匹配的字符串
print(ret.group()) # 结果: 123

6. 正则中的内容如何单独提取?单独获取到正则中的具体内容可以给分组起名字

?P<组名>正则表达式

s = """
 <div class='⻄游记'><span id='10010'>中国联通
</span></div>
 """
 obj = re.compile(r"<span id='(?P<id>\d+)'>(?P<name>\w+)</span>", re.S)  
 result = obj.search(s)  
 print(result.group()) # 结果: <span id='10010'>中国联通</span>
 print(result.group("id")) # 结果: 10010 # 获取id组的内容
 print(result.group("name")) # 结果: 中国联通 #获取name组的内容

这⾥可以看到我们可以通过使⽤分组. 来对正则匹配到的内容进⼀步的进⾏筛选