Python网络爬虫与信息提取学习记录（三）

『第三周』re库

正则表达式

regular expression / regex / RE

正则表达式是用来简洁表达一组字符串的表达式。

例：

正则表达式语法

正则表达式语法由字符和操作符构成

操作符	说明	实例
.	表示任何单个字符
[]	字符集，对单个字符给出取值范围	[abc]表示a、b、c，[a-z]表示a到z单个字符
[^]	非字符集，对单个字符给出排除范围	[^abc]表示非a或b或c的单个字符
*	前一个字符0次或无限次扩展	abc*表示ab、abc、abcc、abccc等
+	前一个字符1次或无限次扩展	abc+表示abc、abcc、abccc等
？	前一个字符0次或1次扩展	abc?表示ab、abc
|	左右表达式任意一个	abc

操作符	说明	实例
{m}	扩展前一个字符m次	ab{2}c表示abbc
{m,n}	扩展前一个字符m至n次(含n)	ab{1,2}c表示abc、abbc
^	匹配字符串开头	^abc表示abc且在一个字符串的开头
$	匹配字符串结尾	abc$表示abc且在一个字符串的结尾
()	分组标记，内部只能使用	操作符
\d	数字，等价于[0-9]
\w	单词字符，等价于[A-Za-z0-9_]

语法实例

正则表达式	对应字符串
P(Y|YT|YTH|YTHO)?N	PN、PYN、PYTN、PYTHN、python
python+	python、pythonN、pythonNN……
PY[TH]ON	PYTON、PYHON
PY[^TH]?ON	PYON、PYaON、PYbON、PYcON……
PY{:3}N	PN、PYN、PYYN、PYYYN

经典正则表达式实例

正则表达式	说明
^[A-Za-z]+$	由26个字母组成的字符串
^[A-Za-z0-9]+$	由26个字母和数字组成的字符串
^-?\d+$	整数形式的字符串
^[0-9]*[1-9][0-9]*$	正整数形式的字符串
[1-9]\d{5}	中国境内邮政编码，6位
[\u4e00-\u9fa5]	匹配中文字符
\d{3}-\d{8}|\d{4}-\d{7}	国内电话号码，010-68913536

匹配IP地址的正则表达式

范围	表示
0-99	[1-9]?\d
100-199	1\d{2}
200-249	2[0-4]\d
250-255	25[0-5]

从0-255为：

([1-9]?\d|1\d{2}|2[0-4]\d|25[0-5]\.){3}([1-9]?\d|1\d{2}|2[0-4]\d|25[0-5])

re库

Re库是python的标准库，主要用于字符串匹配

由于\在字符串中被认定为转义符，如在字符串中使用正则表达式，则是[1-9]\\d{5} ，变得更为繁琐。

所以建议使用原生字符串(raw string)：r'[1-9]\d{5}' 。

函数	说明
re.search()	在一个字符串中搜索匹配正则表达式的第一个位置返回match对象
re .match()	从一个字符串的开始位置起匹配正则表达式，返回match对象
re.findall()	搜索字符串，以列表类型返回全部能匹配的子串
re.split()	将一个字符串按照正则表达式匹配结果进行分割，返回列表类型
re.finditer()	搜索字符串,返回一个匹配结果的迭代类型，每个迭代元素是match对象
re.sub()	在一个字符串中替换所有匹配正则表达式的子串，返回替换后的字符串

re.search(pattern, string, flags=0)

• pattern：正则表达式的字符串或原生字符表示

• string：待匹配字符串

• flags：正则表达式使用时的控制标记

常用标记	说明
re.I re.IGNORECASE	忽略正则表达式的大小写，[A-Z]能够匹配小写字符
re.M re.MULTILINE	正则表达式中的^操作符能够将给定字符串的每行当作匹配开始
re.S re.DOTALL	正则表达式中的.操作符能够匹配所有字符，默认匹配除换行外的所有字符

re.match(pattern, string, flags=0)

re.findall(pattern, string, flags=0)

re.split(pattern, string, maxsplit=0, flags=0)

• maxsplit: 最大分割数，剩余部分作为最后一个元素输出

re.finditer(pattern, string, flags=0)

re.sub(pattern, repl, string, count=0, flags=0)

• repl: 替换匹配字符串的字符串

• count: 匹配的最大替换次数

re库的另一种用法

>>> rst = re.search(r'[1-9]\d{5}', 'BIT 100081')

等价于

>>> pat = re.compile(r'[1-9]\d{5}')
>>> rst = pat.search('BIT 100081')

MATCH对象

Match对象是一次匹配的结果，包含匹配的很多信息

属性	说明
.string	待匹配的文本
.re	匹配时使用的patter对象（正则表达式）
.pos	正则表达式搜索文本的开始位置
.endpos	正则表达式搜索文本的结束位置

方法	说明
.group(0)	获得匹配后的字符串
.start()	匹配字符串在原始字符串的开始位置
.end()	匹配字符串在原始字符串的结束位置
.span()	返回(. start(), .end())

re库的贪婪匹配和最小匹配

当能同时匹配长短不同的多项，会返回最长的一项，即默认采用贪婪匹配

>>> match=re.search(r'PY.*N','PYANBNCNDN')
>>> match.group(0)
'PYANBNCNDN'

最小匹配

>>> match=re.search(r'PY.*?N','PYANBNCNDN')
>>> match.group(0)
'PYANBNCNDN'

最小匹配操作符

操作符	说明
*?	前一个字符0次或无限次扩展，最小匹配
+?	前一个字符1次或无限次扩展，最小匹配
??	前一个字符0次或1次扩展，最小匹配
{m,n}?	扩展前一个字符m至n次(含n) ，最小匹配