python之爬虫Re库（三）

我们在前面学习了正则表达式的基本语法，但是并没有学习如何使用这个库来爬取我们期望的信息，故这篇文章作为一个补充

Re库是Python的标准库，用于字符串的匹配
（只要安装了python的解析器，就不用额外安装）

---

Re库的调用及基本语法

import re

正则表达式的表示类型

• raw string类型（原生字符串类型）
  re库采用了raw string类型表示正则表达式，表示为：r’text’
  e.g. r’[1-9]\d{5}’
  r’\d{3}-\d{8}|\d{4}-\d{7}
  raw string 不是包含转义符的字符串
• string 类型，更繁琐
  会将\理解为转义符

Re库函数

一些基本的函数如下：

函数	描述
re.search()	在一个字符中搜索匹配正则表达式的第一个位置，返回match对象
re.match()	从一个字符串开始位置起匹配正则表达式，返回match()对象
re.findall()	搜索字符串，以列表类型返回全部能匹配的子串
re.split()	将一个字符串按照正则表达式匹配结果进行分割，返回列表类型
re.finditer()	搜索字符串，返回一个匹配结果的迭代类型，每个迭代元素是match对象
re.sub()	在一个字符串中替换所有的匹配正则表达式的子串，返回替换后的字符串

下面具体介绍各函数

• re.search(pattern, string, flags=0)
  其中
  pattern: 正则表达式的字符串或原生字符串表示
  string：待匹配的字符串
  flags：正则表达式使用时的控制标记

flags其常用标记如下：

常用标记	描述
re.I re.IGNORECASE	忽略正则表达式的大小写，[A-Z]能够匹配小写字符
re.M re.MULTILINE	正则表达式中的^操作符能将给定的字符串的每行当作匹配开始
re.S re.DOTALL	正则表达式中的.操作符能匹配所有的字符，默认匹配除换行外的所有字符

e.g.

import re
match = re.search(r'[1-9]\d{5}', 'BIT 100081')
if match:
	print(match.group(0))

• re.match(pattern, string, flags=0)
  同上参数

e.g.

import re
match = re.match(r'[1-9]\d{5}', 'BIT 100081')
if match:
	print(match.group(0))

但是上述代码不会有结果，这是由于match是从字符串的第一个位置开始的，并不是邮政编码，故会错误，即是空的

故我们可以修改代码，可得到正确结果

match = re.match(r'[1-9]\d{5}', '100081 BIT')

• re.findall(pattern, string, flags=0)
  同上参数
  e.g.

import re
match = re.findall(r'[1-9]\d{5}', 'BIT100081 TSU100084')
if match:
	print(match.groups)

可将编码100081和100084全部打印

• re.split(pattern, string,maxsplit=0, flags=0)
  maxsplit: 最大分割数，剩余部分作为最后一个元素输出
  e.g.

import re
match = re.split(r'[1-9]\d{5}', 'BIT100081 TSU100084')
#输出将是{'BIT', ' TSU', ''}

match = re.split(r'[1-9]\d{5}', 'BIT100081 TSU100084',maxsplit=1)
#输出为{'BIT', ' TUS100084'}

• re.finditer(pattern, string,maxsplit=0, flags=0)
  同上参数

import re
for m in re.finditer(r'[1-9]\d{5}', 'BIT100081 TSU100084'):
	if m:
		print(m.group(0))
#输出为
#100081
#100084

• re.sub(pattern, repl,string,maxsplit=0, count=0,flags=0)
  repl: 替换匹配字符串的字符串
  count: 匹配的最大替换次数
  其余参数一样

e.g.

import re
re.sub(r'[1-9]\d{5}', ':zipcode', 'BIT00081 TSU100084')
#输出为'BIT:zipcode TSU: zipcode'

等价用法

• 函数式用法：一次性操作
  e.g.

rst = re.search(r'[1-9]\d{5}', 'BIT 100081')

• 面向对象用法：编译后的多次操作
  e.g.

pat = re.compile(r'[1-9]\d{5}')
rst = pat.search('BIT 100081')

介绍一下

regex = re.compile(pattern, flags=0)

将正则表达式的字符串形式编译成正则表达式对象
e.g.

regex = re.compile(r'[1-9]\d{5}')

Re库的match对象

我们可以看到前面的函数都返回了match对象，即匹配的结果，包含很多匹配信息
其属性：

属性	描述
.string	待匹配的文本
.re	匹配时使用的pattern对象
.pos	正则表达式搜索文本的开始位置
.endpos	正则表达式搜索文本的结束位置

e.g.

import re
m = re.search(r'[1-9]\d{5}', 'BIT100081 TSU100084')
m.string
#输出 'BIT100081 TSU100084'
m.re
#输出re.complie('[1-9]\\d{5}')
m.pos
#输出0
m.endpos
#输出19
m.group(0)
#输出'100081'
m.start()
#输出3
m.end()
#输出9

Re库的贪婪匹配和最小匹配

e.g.

match = re.search(r'PY.*N', 'PYANBNCNDN')
match.group(0)

• 贪婪匹配
  Re库默认采用贪婪匹配，即输出匹配最长的子串
  即上述例子返回’PYANBNCNDN’
• 最小匹配
  修改代码（加个问号即可输出最短）
  match = re.search(r’PY.*?N’, ‘PYANBNCNDN’)

最小匹配操作符我们在正则表示式的基本概念中提到过，这里就不再阐述

---

第三篇关于爬虫Re库（即正则表达式）的使用的补充就到此结束啦！