Python网络爬虫——Re库

正则表达式语法

正则表达式的常用操作符

操作符	说明	实例
[ ]	字符集,对单个字符给出取值范围	[abc]表示a、b、c,[a-z]表示a到z单个字符
[^]	非字符集，对单个字符给出排除范围	[^abc] 表示非a或非b或非c的单个字符
*	前一个字符0次或无限次扩展	abc*表示ab、abc、abcc、abccc等
+	前一个字符1次或无限次扩展	abc+表示abc、abcc、abccc等
?	前一个字符0次或1次扩展	abc?表示ab、abc
|	左右表达式任意一个	abc|def表示abc、def
{m}	扩展前一个字符m次	ab{2}c 表示abcc
{m,n}	扩展前一个字符m至n次(含n)	ab{1,2}c表示abc、abbc
^	匹配字符串开头	^abc表示abc且在一个字符串的开头
$	匹配字符串结尾	abc$表示abc且在一个字符串的结尾
()	分组标记，内部只能使用|操作符	(abc)表示abc，(abc
\d	数字，等价于[0-9]
\w	单词字符，等价于[A-Za-z0-9]

---

经典正则表达式实例

正则表达式	说明
^[A-Za-z]+$	由26个字母组成的字符串
^[A-Za-z0-9]+$	由26个字母和数字组成的字符串
^-?\d+$	整数形式的字符串
^[0-9]*[1-9][0-9]*$	正整数形式的字符串
[1-9]\d{5}	中国境内邮政编码，6位
[\u4e00-\u9fa5]	匹配中文字符
\d{3}-\d{8}|\d{4}-\d{7}	国内电话号码，010-88888888
(([1-9]?\d|1\d{2}|2[0-4]\d|25[0-5]).){3}([1-9]?\d|1\d{2}|2[0-4]\d|25[0-5])	ip地址的正则表达式

0-99 ： [1-9]?\d
100-199 : 1\d{2}
200-249 : 2[0-4]\d
250-255 : 25[0-5]

---

Re库

Re库主要功能函数

函数	说明
re.search()	在一个字符串中搜索匹配正则表达式的第一个位置
re.match()	从一个字符串的开始位置起匹配正则表达式，返回match对象
re.findall()	搜索字符串，以列表类型返回全部能匹配的子串
re.split()	将一个字符串按照正则表达式匹配结果进行分割，返回列表类型
re.finditer()	搜索字符串，返回一个匹配结果的迭代类型，每个迭代元素是match对象
re.sub()	在一个字符串中替换所有匹配正则表达式的子串，返回替换后的字符串

re.search(pattern, string, flags=0)

• pattern : 正则表达式的字符串或原生字符串表示
• string : 待匹配字符串
• flags : 正则表达式使用时的控制标记

常用标记	说明
re.I re.IGNORECASE	忽略正则表达式的大小写，[A-Z]能够匹配小写字符
re.M re.MULTILINE	正则表达式中的^操作符能够将给定字符串的每行当作匹配开始
re.S re.DOTALL	正则表达式中的.操作符能够匹配所有的字符，默认匹配换行外的所有字符

---

Re库的Match对象

Match对象的属性

属性	说明
.string	待匹配的文本
.re	匹配时使用的pattern对象(正则表达式)
.pos	正则表达式搜索文本的开始位置
.endpos	正则表达式搜索文本的结束位置

---

Match对象的常用方法：

方法	说明
.group(0)	获得匹配后的字符串
.start()	匹配字符串在原始字符的开始位置
.end()	匹配字符串在原始字符的结束位置
.span()	返回(.start(), .end())

---

Match对象的贪婪匹配

    match = re.search(r'PY.*N', 'PYANBNCNDN')
    match.group(0)

该正则表达式的意思是在’PY’和’N’中可以有任意长度的字符串，符合条件的有’PYAN’, ‘PYANBN’, ‘PYANBNCN’, ‘PYANBNCNDN’，Re库默认采用贪婪匹配，即输出匹配最长的子串。输出的是’PYANBNCNDN’

---

Match对象的最小匹配

    match = re.search(r'PY.*?N', 'PYANBNCNDN')
    match.group(0)

只需在PY.*后面加一个问号即可输出最小匹配，即’PYAN’

最小匹配操作符：

操作符	说明
*?	前一个字符0次或无限次扩展，最小匹配
+?	前一个字符1次或无限次扩展，最小匹配
??	前一个字符0次或1次扩展，最小匹配
{m,n}?	扩展前一个字符m至n次(含n)，最小匹配