网络爬虫：Re库与正则表达式

Re库与正则表达式

Copyright: Jingmin Wei, Pattern Recognition and Intelligent System, School of Artificial and Intelligence, Huazhong University of Science and Technology

网络爬虫专栏链接

---

---

本教程主要参考中国大学慕课的 Python 网络爬虫与信息提取，为个人学习笔记。

在学习过程中遇到了一些问题，都手动记录并且修改更正，保证所有的代码为有效。且结合其他的博客总结了一些常见问题的解决方式。

本教程不商用，仅为学习参考使用。如需转载，请联系本人。

Reference

爬虫 MOOC

数据分析 MOOC

廖雪峰老师的 Python 教程

正则表达式的概念

正则表达式是用来简洁表达一组字符串的表达式。

引入：

简洁，一行胜千言，一行就是特征(模式)。

正则表达式是用来简洁表达一组字符串的表达式；正则表达式是一种通用的字符串表达框架；进一步，正则表达式是一种针对字符串表达“简洁”和“特征”思想的工具；正则表达式可以用来判断某字符串的特征归属。

正则表达式在文本处理中十分常用：

• 表达文本类型的特征（病毒、入侵等）

• 同时查找或替换一组字符串

• 匹配字符串的全部或部分 最主要应用在字符串匹配中

编译：将符合正则表达式语法的字符串转换成正则表达式特征。

正则表达式的语法

正则表达式的常用操作符

操作符	说明	实例
.	表示任何单个字符
[ ]	字符集，对单个字符给出取值范围	[abc]表示a或b或c，[a‐z]表示a到z单个字符
[^ ]	非字符集，对单个字符给出排除范围	[^abc]表示非a或b或c的单个字符
*	前一个字符0次或无限次扩展	abc* 表示 ab、abc、abcc、abccc等
+	前一个字符1次或无限次扩展	abc+ 表示 abc、abcc、abccc等
?	前一个字符0次或1次扩展	abc? 表示 ab、abc
|	左右表达式任意一个	abc|def 表示 abc、def
{m}	扩展前一个字符m次	ab{2}c表示abbc
{m,n}	扩展前一个字符m至n次（含n）	ab{1,2}c表示abc、abbc
^	匹配字符串开头	^abc表示abc且在一个字符串的开头
$	匹配字符串结尾	abc$表示abc且在一个字符串的结尾
( )	分组标记，内部只能使用|操作符	(abc)表示abc，(abc|def)表示abc、def
\d	数字，等价于[0‐9]
\w	单词字符，等价于[A‐Za‐z0‐9_]

有关？组合语法和最小匹配请直接跳转至贪婪匹配和最小匹配处。

正则表达式语法实例

经典正则表达式实例

匹配IP地址的正则表达式

Re库的基本使用

Re 库是 Python 的标准库，主要用于字符串匹配

import re

raw string 类型（原生字符串类型）。re 库采用 raw string 类型表示正则表达式，表示为：

raw string 是不包含对转义符再次转义的字符串

re 库也可以采用 string 类型表示正则表达式，但更繁琐，例如：

建议：当正则表达式包含转义符时，使用 raw string

1.Re库的主要功能函数

函数	说明
re.search()	在一个字符串中搜索匹配正则表达式的第一个位置，返回 match 对象
re.match()	从一个字符串的开始位置起匹配正则表达式，返回 match 对象
re.findall()	搜索字符串，以列表类型返回全部能匹配的子串
re.split()	将一个字符串按照正则表达式匹配结果进行分割，返回列表类型
re.finditer()	搜索字符串，返回一个匹配结果的迭代类型，每个迭代元素是 match 对象
re.sub()	在一个字符串中替换所有匹配正则表达式的子串，返回替换后的字符串

常用参数类型

∙ pattern : 正则表达式的字符串或原生字符串表示

∙ string : 待匹配字符串

∙ flags : 正则表达式使用时的控制标记

常用标记	说明
re.I re.IGNORECASE	忽略正则表达式的大小写，[A‐Z] 能够匹配小写字符
re.M re.MULTILINE	正则表达式中的^操作符能够将给定字符串的每行当作匹配开始
re.S re.DOTALL	正则表达式中的.操作符能够匹配所有字符，默认匹配除换行外的所有字符

∙ maxsplit: 最大分割数，剩余部分作为最后一个元素输出

∙ repl : 替换匹配字符串的字符串

∙ count : 匹配的最大替换次数

1.

re.search(pattern, string, flags=0)

在一个字符串中搜索匹配正则表达式的第一个位置，返回match对象

>>> import re
>>> match = re.search(r'[1-9]\d{5}', 'BIT 100081')
>>> if match:
	print(match.group(0))

	
100081

2.

re.match(pattern, string, flags=0)

从一个字符串的开始位置起匹配正则表达式，返回 match 对象

>>> import re
>>> match = re.match(r'[1-9]\d{5}', 'BIT 100081')
>>> if match:
	match.group(0)

	
>>> match.group(0)
Traceback (most recent call last):
  File "<pyshell#10>", line 1, in <module>
    match.group(0)
AttributeError: 'NoneType' object has no attribute 'group'

>>> match = re.match(r'[1-9]\d{5}', '100081 BIT')
>>> if match:
	print(match.group(0))

100081

3.

re.findall(pattern, string, flags=0)

搜索字符串，以列表类型返回全部能匹配的子串

>>> import re
>>> ls = re.findall(r'[1-9]\d{5}', 'BIT100081 TSU100084')
>>> ls
['100081', '100084']

4.

re.split(pattern, string, maxsplit=0, flags=0)

将一个字符串按照正则表达式匹配结果进行分割，返回列表类型

>>> import re
>>> re.split(r'[1-9]\d{5}', 'BIT100081 TSU100084')
['BIT', ' TSU', '']
>>> re.split(r'[1-9]\d{5}', 'BIT100081 TSU100084', maxsplit=1)
['BIT', ' TSU100084']

5.

re.finditer(pattern, string, flags=0)

搜索字符串，返回一个匹配结果的迭代类型，每个迭代元素是match对象

>>> import re
>>> for m in re.finditer(r'[1-9]\d{5}', 'BIT100081 TSU100084'):
	if m:
		print(m.group(0))

		
100081
100084

6.

re.sub(pattern, repl, string, count=0, flags=0)

在一个字符串中替换所有匹配正则表达式的子串，返回替换后的字符串

>>> import re
>>> re.sub(r'[1-9]\d{5}', ':zipcode', 'BIT100081 TSU100084')
'BIT:zipcode TSU:zipcode'

2.Re库的另一种等价用法

函数式用法：一次性操作

>>> rst = re.search(r'[1-9]\d{5}', 'BIT 100081')

等价于

面向对象用法：编译后可多次操作

>>> pat = re.compile(r'[1-9]\d{5}')
>>> rst = pat.search('BIT 100081')
>>> if rst:
	print(rst.group(0))

	
100081

compile：

regex = re.compile(pattern, flags=0)

将正则表达式的字符串形式编译成正则表达式对象

>>> regex = re.compile(r'[1‐9]\d{5}')

然后调用相应的方法，注意不要再写pattern

Re库的Match对象

Match 对象是一次匹配的结果，包含匹配的很多信息

>>> match = re.search(r'[1-9]\d{5}', 'BIT 100081')
>>> if match:
	print(match.group(0))

	
100081
>>> type(match)
<class 're.Match'>

Match 对象的属性：

属性	说明
.string	待匹配的文本
.re	匹配时使用的patter对象（正则表达式）
.pos	正则表达式搜索文本的开始位置
.endpos	正则表达式搜索文本的结束位置

Match 对象的方法

方法	说明
.group(0)	获得匹配后的字符串
.start()	匹配字符串在原始字符串的开始位置
.end()	匹配字符串在原始字符串的结束位置
.span()	返回(.start(), .end())

实例：

>>> import re
>>> m = re.search(r'[1-9]\d{5}', 'BIT100081 TSU100084')
>>> m.string
'BIT100081 TSU100084'
>>> m.re
re.compile('[1-9]\\d{5}')
>>> m.pos
0
>>> m.endpos
19
>>> m.group(0)
'100081'
>>> m.start
<built-in method start of re.Match object at 0x000001F226185E00>
>>> m.start()
3
>>> m.end()
9
>>> m.span()
(3, 9)

Re库的贪婪匹配和最小匹配

>>> match = re.search(r'PY.*N', 'PYANBNCNDN')
>>> match.group(0)

同时匹配长短不同的多项，返回哪一个呢？

贪婪匹配：

>>> match = re.search(r'PY.*N', 'PYANBNCNDN')
>>> match.group(0)
'PYANBNCNDN'

Re 库默认采用贪婪匹配，即输出匹配最长的子串

最小匹配：

如何输出最短的子串呢？

>>> match = re.search(r'PY.*?N', 'PYANBNCNDN')
>>> match.group(0)
'PYAN'

最小匹配操作符

操作符	说明
*?	前一个字符 0 次或无限次扩展，最小匹配
+?	前一个字符 1 次或无限次扩展，最小匹配
??	前一个字符 0 次或 1 次扩展，最小匹配
{m,n}?	扩展前一个字符 m 至 n 次(含 n)，最小匹配

只要长度输出可能不同的，都可以通过在操作符后增加?变成最小匹配

总结