Re（正则表达式）库入门

1. 前言

  正则表达式（Regular Expression）又称RegEx，是用来匹配字符的一种工具。在一大串字符中寻找你需要的内容，它常被用在很多方面。比如，网页爬虫、文稿整理、数据筛选等等。正则表达式绝对不是一天就能学会和记住的。因为表达式里面的内容非常多，强烈建议，现在这个阶段，你只需要了解正则都有什么，不用记住，等你真正需要用到它的时候，再反过头来，好好琢磨，那个时候才是你需要训练自己记住这些表达式。

2. Regular Expression（正则表达式）

  正则表达式是用来简洁表达一组字符串的表达式。一个表达式，可以代表一组字符串。为什么使用正则表达式呢？主要原因在于它的简洁。可以将一组字符串的特点表示出来。

正则表达式：

• 通用的字符串表达框架
• 简洁表达一组字符串的表达式
• 针对字符串表达的“简洁”和”特征“思想的工具
• 判断某字符串的特征归属

正则表达式在文本处理中十分常用

• 表达文本类型的特征（病毒、入侵等）
• 同时查找或替换一组字符串
• 匹配字符串的全部或部分，后面我们会看到很多例子。

正则表达式的使用：

• 编译：将符合正则表达式语法的字符串转换成正则表达式特征，而这个特征可以表示一组字符串。
  
  
  

3. 正则表达式的语法

正则表达式语法由字符和操作符构成。

 3.1.常用操作符

操作符	说明	实例
.	表示任何单个字符(不包括换行符)
[ ]	字符集，对单个字符给出取值范围	[abc]表示a、b、c，[a-z]表示a到z单个字符
[ ^ ]	非字符集，对单个字符给出排除范围	[ ^abc]表示非a且非b且非c的单个字符
*	前一个字符0次或无限次扩展	abc*表示ab、abc、abcc、abccc等
+	前一个字符1次或无限次扩展	abc+表示abc、abcc、abccc等
？	前一个字符0次或1次扩展	abc+表示ab、abc
|	左右表达式任意一个	abc|def表示abc、def
{m}	扩展前一个字符m次	ab{2}c表示abbc
{m,n}	扩展前一个字符m至n次（含n）	ab{1,2}c表示abc、abbc
^	匹配字符串开头	^abc表示abc且在一个字符串的开头
$	匹配字符串结尾	abc $表示abc且在一个字符串的结尾
（）	分组标记，内部只能使用 | 操作符	(abc)表示abc，（abc|def）表示abc、def
\d	数字，等价于[0-9]
\w	单词字符，等价于[A-Za-z0-9_]
\s	空白符，表示空格，换行符，制表符等

 3.2 正则表达式语法实例：

正则表达式	对应字符串
P(Y|YT|YTH|YTHO)?N	‘PN’、‘PYN’、‘PYTN’、‘PYTHN’、‘PYTHON’
PYTHON+	‘PYTHON’、‘PYTHONN’、‘PYTHONNN’…
PY[TH]ON	‘PYTON’、‘PYHON’
PY[ ^TH]?ON	‘PYON’、‘PYaON’、‘PYbON’、‘PYcON’…
PY{:3}N	‘PN’、‘PYN’、‘PYYN’、‘PYYYN’

 3.3 经典正则表达式实例

说明	正则表达式
由26个英文字母组成的字符串 :	^ [A-Za-z]+$
由26个英文字母和数字组成的字符串 :	^ [A-Za-z0-9]+$
整数形式的字符串：	^-?\d+$
正整数形式的字符串 :	^ [0-9]*[1-9] [0-9] * $
中国境内邮政编码，6位	[1-9]\d{5}
匹配中文字符串	[\u4e00-\u9fa5]
国内电话号码，010-68913536	\d{3}-\d{8} | \d{4}-\d{7}
IP地址	(([1-9]?\d|1\d{2}|2[0-4]\d|25[0-5]).){3}([1-9]?\d|1\d{2}|2[0-4]\d|25[0-5])

4.Re库介绍

Re库是Python的标准库，主要用于字符串匹配。

正则表达式的表示类型：

• raw string 类型（原生字符串类型）
  Re库采用raw string类型表示正则表达式，表示为：r.‘text’
  例如：r’[1-9]\d{5}’，在字符串前加一个r。raw string是不包含转义符的字符串。
• string类型，更繁琐。因为string类型认为’\‘是一个转义字符。所以，要想表达刚刚的字符串表达式，就要写成：’[1-9]\\d{5}’

Re库的主要功能函数

函数	说明
re.search()	在一个字符串中搜索匹配正则表达式的第一个位置，返回match对象
re.match()	从一个字符串的开始位置起匹配正则表达式，返回match对象
re.findall()	搜索字符串，以列表类型返回全部能匹配的子串
re.split()	将一个字符串按照正则表达式的结果进行分割，返回列表类型
re.finditer()	搜索字符串，返回一个匹配结果的迭代类型，每个迭代元素是match对象
re.sub()	在一个字符串中替换所有匹配正则表达式的字串，返回替换后的字符串

 4.1每个函数的具体介绍

• re.search(pattern,string,flags=0)

pattern：正则表达式的字符串或原生字符串表示
string：待匹配字符串
flags：正则表达式使用时的控制标记

常用标记	说明
re.I	忽略正则表达式的大小写，[A-Z]能够匹配小写字符
re.M	正则表达式中的^操作符能够将给定字符串的每行当作匹配开始
re.S	正则表达式中的 . 操作符能够匹配所有字符（包括换行符），默认匹配除换行外的所有字符串

>>> import re
>>> match=re.search(r'[1-9]\d{5}','BIT 100081')
>>> if match:
	print(match.group(0))

	
100081

• re.match(pattern,string,flags=0)

>>> match=re.match(r'[1-9]\d{5}','BIT 100081')
>>> if match:
	match.group(0)   #因为match是从一个字符串的起始位置开始匹配，所以没有匹配成功。

	
>>> match=re.match(r'[1-9]\d{5}','100081 BIT')
>>> if match:
	match.group(0) #因为match是从一个字符串的起始位置开始匹配，匹配到100081。

	
'100081'

• re.findall(pattern,string,flags=0)

>>> ls=re.findall(r'[1-9]\d{5}','BIT100081 TSU100084')
>>> ls
['100081', '100084']

• re.split(pattern,string,maxsplit=0,flags=0)
  maxsplit：最大分割数，剩余部分作为最后一个元素输出

>>> re.split(r'[1-9]\d{5}','BIT100081 TSU100084')
['BIT', ' TSU', '']    #将匹配的部分去除，去掉之后的部分分别作为分割字符串的元素放在列表里
>>> re.split(r'[1-9]\d{5}','BIT100081 TSU100084',maxsplit=1)
['BIT', ' TSU100084']

• re.finditer(pattern,string,flags=0)

>>> for m in re.finditer(r'[1-9]\d{5}','BIT100081 TSU100084'):
		if m:
				print(m.group(0))

		
100081
100084

• re.sub(pattern,repl,string,count=0,flags=0)
  repl：替换匹配字符串的字符串
  count：匹配的最大替换次数

>>> re.sub(r'[1-9]\d{5}',':zipcode','BIT100081 TSU100084')
'BIT:zipcode TSU:zipcode'

 4.2 Re库的另一种等价用法：

1. 函数式用法：一次性操作

>>> rst = re.srarch(r'[1-9]\d{5}','BIT 100081')

2. 面型对象用法：编译后的多次操作

>>> pat = re.compile(r'[1-9]\d{5}')  #将正则表达式的字符串编译成正则表达式对象
>>> rst = pat.search('BIT 100081')  #当多次需要使用正则表达式时，这样做很方便。

regex = re.compile(pattern,flags=0)

——将正则表达式的字符串形式编译成正则表达式对象

• pattern：正则表达式的字符串或原生字符串表示
• flags：正则表达式使用时的控制标记

  正则表达式对象的方法也和Re库中方法相同，只是把参数中的正则表达式字符串去掉即可（因为已经编译过了）。

 4.3 Match对象

  上边的Re库函数中有几个返回的都是match对象，这里讲解一下。
Match对象属性：

属性	说明
.string	待匹配的文本
.re	匹配时使用的pattern对象（正则表达式）
.pos	正则表达式搜索文本的开始位置
.endpos	正则表达式搜索文本的结束位置

>>> m=re.search(r'[1-9]\d{5}','BIT100081 TSU100084')
>>> m.string
'BIT100081 TSU100084'
>>> m.re
re.compile('[1-9]\\d{5}')
>>> m.pos
0
>>> m.endpos
19

Match对象方法：

方法	说明
.group(0)	获得匹配后的字符串
.start()	匹配字符串在原始字符串的开始位置
.end()	匹配字符串在原始字符串的结束位置
.span()	返回（.start(),.end()），元组类型

>>> m=re.search(r'[1-9]\d{5}','BIT100081 TSU100084')
>>> m.group(0)   #match对象只返回第一次匹配的结果
'100081'
>>> m.start()
3
>>> m.end()
9
>>> m.span()
(3, 9)

5. Re库的贪婪匹配和最小匹配

Re库默认采用贪婪匹配，即输出匹配最长的字串。

>>> match = re.search(r'PY.*N','PYANBNCNDN')
>>> match.group(0)
'PYANBNCNDN'

如何输出最短字串？加一个‘?’即可。

>>> match = re.search(r'PY.*?N','PYANBNCNDN')
>>> match.group(0)
'PYAN'

最小匹配操作符

操作符	说明
*?	前一个字符0次或无限次扩展，最小匹配
+?	前一个字符1次或无限次扩展，最小匹配
??	前一个字符0次或1次扩展，最小匹配
{m,n}?	扩展前一个字符m至n次（含n），最小匹配

6. 总结

  文章对Re库进行了简单的介绍，讲解了一些方法，这些都是比较基础的东西。对这些知识都要很清楚。后面我会用几个实例来将前面所讲的Requests库、BeautifulSoup库、Re库等串联起来，更具形式的讲解。后续更新，请多多关注~~
  文章如有不当之处，还请多多指教~~
   ❤️