小白学爬虫（五 正则表达式）

正则表达式

regular expression regex RE

用来简洁表达一组字符串的表达式

假设有一组字符串，
‘PN’、‘PYN’,‘PYTN’,‘PYTHN’,‘PYTHON’，对其使用正则表达式：P(Y|YT|YTH|YTHO)?N
‘PY’、‘PYY’、‘PYYY’、‘PYYYY’,正则表达式为：PY+
PY开头存在不多于10个字符，且不含P和Y，PY[^PY]{0,10}

正则表达式的作用：

1. 通用的字符串表达框架
2. 简洁表达一组字符串的表达式
3. 针对字符串表达“简洁”和“特征”思想的工具
4. 判断某字符串的特征归属（字符串匹配）

正则表达式在文本处理中十分常用

1. 表达文本类型的特征（病毒、入侵等）
2. 同时查找和替换一组字符串
3. 匹配字符串的全部或部分

正则表达式的使用

编译：将符合正则表达式语法的字符串转换成正则表达式特征

例如：
‘PN’、‘PYN’,‘PYTN’,‘PYTHN’,‘PYTHON’，对其使用正则表达式：regex = P(Y|YT|YTH|YTHO)?N
编译成：p = re.compile(regex)

编译后的正则化表达式称为正则化表达式，未编译的成为正则化表达

正则化表达式的语法

P(Y|YT|YTH|YTHO)?N 由字符和操作符组成

正则化表达式的常用操作符

操作符	说明	实例
{m}	扩展前一个字符m次	ab{2}c表示abbc
{m，n}	扩展前一个字符m和n次（含n）	ab{1，2}c表示abc、abbc
^	匹配字符串开头	^abc表示abc且在一个字符串的开头
$	匹配字符串的结尾	abc$表示abc且在一个字符串的结尾
()	分组标记，内部只能使用竖线操作符	（abc）表示abc，（abc竖线def）表示abc、def
\d	数字，等价于[0-9]
\w	单词字符，等价于[A-Za-z0-9_]
.	表示任何单个字符
[]	字符集，对单个字符给出取值范围	[abc]表示a、b、c，[a-z]表示a到z单个字符
[^]	非字符集，对单个字符给出排除范围	[^abc]表示非a，b，c
*	前一个字符0次或无限次扩展	abc*表示ab、abc、abcc、abccc等
+	前一个字符1次或无限次扩展	abc+表示abc、abcc、abccc等
？	前一个字符0次或1次扩展	abc？表示ab、abc
竖线	左右表达式任意一个	abc竖线def表示abc或def

正则表达式语法实例：

正则表达式
P(Y|YT|YTH|YTHO)?N
对应字符串:PN、PYN、PYTN、PYTHN、PYTHON
PYTHON+
对应字符串:PYTHON、PYTHONN、PYTHONNNN等
PY[TH]ON
对应字符串: PYTON、PYTHON
PY[^TH]？ON
对应字符串: PYAON、PYON、PYaON，中间只要不是TH均可
PY{：3}N
对应字符串: PN、PYYN、PYN、PYYYN

经典正则表达式实例

匹配IP地址的正则表达式
1、不精确
IP地址分为4段，每段范围为0-255

\d+.\d+.\d+.\d+
\d{1,3}.\d{1,3}.\d{1,3}.\d{1,3}

2、精确表达

0-99：[1-9]?\d
100-199:1\d{2}
200-249:2[0-4]\d
250-255:25[0-5]

re库介绍

Re库是python的标准库，只要安装了python就可以直接使用Re库，主要用于字符串匹配

调用方式：import re

Re库使用原生字符串在字符串前加r，原生字符串不含转义字符（中间的斜杠不被解释为转义字符）
即 raw string

例如：
r’[1-9]\d{5}’
r’\d{3}-\d{8}|\d{4}-\d{7}’

也可以使用python的string类型，但string类型将斜杠解释为转义字符，会更繁琐

例如：