Python爬虫学习之正则表达式与Re库

正则表达式 regular expression regex RE

·正则表达式是用来简介表达一组字符串的表达式

·通用的字符串表达框架

·简介表达一组字符串的表达式

·针对字符串表达“简洁”和“特征”思想的工具

·用于判断某字符串的特征归属

 

正则表达式在文本处理中十分常用

·表达文本类型的特征（病毒，入侵等）

·同时查找或替换一组字符串

·匹配字符串的全部或部分

正则表达式的使用

编译：将符合特征正则表达式语法的字符串转换成正则表达式特征。

 

正则表达式的语法

正则表达式是由字符和操作符构成的

操作符	说明	实例
.	表示任何单个字符	A.表示AA,AB,AC,AD.....Aa,Ab...
[]	字符集，对单个字符给出取值范围	[abc]表示a,b,c,[a-z]表示a到z单个字符
[^ ]	非字符集，对单个字符给出排查范围	[^abc]表示非a或b或c的单个字符
*	前一个字符0次或无限次扩展	abc*表示ab,abc,abcc,abccc...
+	前一个字符1 次或无限次扩展	abc+表示abc,abcc,abccc...
？	前一个字符0次或1次扩展	abc?表示ab,abc
|	取左右表达式任意一个	abc|def表示abc,def
{m}	扩展前一个字符m次	ab{2}c表示abbc
{m,n}	扩展前一个字符m至n次（含n）	ab{1,2}表示abc,abbc
^	匹配字符串开头	^abc表示abc且在一个字符串的开头
$	匹配字符串结尾	abc$表示abc且在一个字符串的结尾
()	分组标记，内部只能用|操作符	(abc)表示abc，(abc,def)表示abc,def
\d	数字，等价于[0-9]	abc\d表示abc1,abc2,abc3.....abc9
\w	单词字符集，等价于[A-Za-z0-9_]	注意：包括下划线

 

扩展补充：

字符	描述
\cx	匹配由x指明的控制字符。例如， \cM 匹配一个 Control-M 或回车符。x 的值必须为 A-Z 或 a-z 之一。否则，将 c 视为一个原义的 'c' 字符。
\f	匹配一个换页符。等价于 \x0c 和 \cL。
\n	匹配一个换行符。等价于 \x0a 和 \cJ。
\r	匹配一个回车符。等价于 \x0d 和 \cM。
\s	匹配任何空白字符，包括空格、制表符、换页符等等。等价于 [ \f\n\r\t\v]。
\S	匹配任何非空白字符。等价于 [^ \f\n\r\t\v]。
\t	匹配一个制表符。等价于 \x09 和 \cI。
\v	匹配一个垂直制表符。等价于 \x0b 和 \cK。

 

常用正则表达式

^[A-Za-z]+$	由26个字母组成的字符串
^[A-Za-z0-9]+$	由26个字符和数字组成的字符串
^-?\d+$	整数型式的字符串
^[0-9]*[1-9][0-9]*$	正整数形式的字符串
[1-9]\d{5}	中国境内邮政编码，6位
[\u4e00-\u9fa5]	匹配中文字符

 

Python的Re库

Re介绍

Re库是python的标准库，主要用于字符串匹配

 

正则表达式的表示类型

·rawString类型（原生字符串类型）

使用rawString类型表达正则表达式：

r”text”

例如：r”^[A-Za-z]+$”

 

·string类型

使用string类型需要注意，里面的\会被当成转义符，所以要加成\\更加麻烦

使用String类型表达正则表达式：

“text”

例如：”[1-9]\\d{5}”

 

所以推荐使用rawString类型

 

Re库主要功能函数

函数	说明
re.search()	再一个字符串中搜索匹配正则表达式的第一个位置，返回match对象
re.match()	从一个字符串的开始位置起匹配正则表达式，返回match对象
re.findall()	搜索字符串，以列表类型返回全部能匹配的字串
re.split()	将一个字符串按照正则表达式匹配结果进行分割，返回列表类型
re.finditer	搜索字符串，返回一个匹配结果的迭代类型,每个迭代元素是match对象
re.sub()	在一个字符串中替换所有匹配正则表达式的字串，返回替换后的字符串

 

·re.search(pattern,string,flags = 0)

>pattern:正则表达式的字符串或原生字符串表示

>string:待匹配的字符串

>flags:正则表达式使用时的控制标记

 

常用标记	说明
re.I (re.IGNORECASE)	忽略正则表达式的大小写，[A-Z能够匹配小写字符]
re.M(re.MULTILINE)	正则表达式中的^操作符能够将给定字符串的每行当作匹配开始
re.S(re.DOTALL)	正则表达式中的.操作符能够匹配所有字符，默认匹配除换行符外的所有字符

 

·re.match(pattern,string,flags = 0)

>pattern:正则表达式的字符串或原生字符串表示

>string:待匹配的字符串

>flags:正则表达式使用时的控制标记

 

 

·re.findall(pattern,string,flags = 0)

>pattern:正则表达式的字符串或原生字符串表示

>string:待匹配的字符串

>flags:正则表达式使用时的控制标记

 

·re.split(pattern,string,maxsplit,flags = 0)

>pattern:正则表达式的字符串或原生字符串表示

>string:待匹配的字符串

>maxsplit:最大分割数，剩余部分作为最后一个元素输出

>flags:正则表达式使用时的控制标记

split会将匹配到的字符串去掉，把剩下的作为分割部分放进列表类型中

 

·re.finditer(pattern,string,flags = 0)

>pattern:正则表达式的字符串或原生字符串表示

>string:待匹配的字符串

>flags:正则表达式使用时的控制标记

我们可以用for in 将finditer函数匹配到的每个字符串进行迭代处理

 

·re.sub(pattern,repl,string,count = 0,flags = 0)

>pattern:正则表达式的字符串或原生字符串表示

>repl:替换匹配字符串的字符串

>string:待匹配的字符串

>count:匹配的最大次数

>flags:正则表达式使用时的控制标记

 

Re库的另一种用法

函数式用法：rst = re.search(r’^[A-Za-z0-9]+$’,’helloworld’)
适合一次性操作，每次都会经过编译过程

 

面向对象式用法：pat = re.compile(r’^[A-Za-z0-9]+$’)

rst = pat.search(‘helloworld’)

适合多次重复操作，只编译最初的一次，加快执行过程