北京理工大学-Python网络爬虫与信息提取学习笔记07_python网络爬虫与信息抽取笔记07-CSDN博客

本文链接：https://blog.csdn.net/I_HAVE_COME/article/details/105538750

正则表达式
用来简洁表达一组字符串的表达式
通用的字符串表达框架
针对字符串表达“简洁”和“特征”思想的工具
判断某字符串的特征归属

正则表达式在文本处理中十分常用
表达文本类型的特征
同时查找或替换一组字符串
匹配字符串的全部或部分

正则表达式的使用
编译：将符合正则表达式语法的字符串转换为正则表达式特征

正则表达式的语法
. 表示单个字符

[] 字符集，对单个字符给出取值范围
[abc]表示a、b、c，[a-z]表示a到z单个字符

[ ^] 非字符集，对单个字符给出排除范围
[ ^abc]表示非a或b或c的单个字符

*前一个字符0次或无限次扩展
abc * 表示ab、abc、abcc等
+ 前一个字符1次或无限次扩展
abc+表示abc、abcc、abccc等

？前一个字符0次或1次扩展
abc？表示ab、abc

| 左右表达式任意一个
abc|def表示abc、def

{m} 扩展前一个字符m次
ab{2}c表示abbc

{m,n} 扩展前一个字符m至n次
ab{1,2}c表示abc、abcc

^ 匹配字符串开头
^abc表示abc且在一个字符串的开头

$ 匹配字符串结尾
abc$表示abc且在一个字符串的结尾

() 分组标记,内部只能使用|操作符
(abc)表示abc，(abc|def)表示abc、def

\d 数字，等价于[0-9]
\w 单词字符，等价于[A-Za-z0-9_]

经典实例
^ [A-Za-z]+$ 由26个字母组成的字符串
^ [A-Za-z0-9]+$ 由26个字母和数字组成的字符串
^-?\d+$ 整数型形式的字符串
^ [0-9 ]* [1- 9][0 -9] *$ 正整数形式的字符串
[1-9]\d{5} 中国境内邮政编码，6位
[\u4e00-\u9fa5] 匹配中文字符
\d{3}-\d{8}|\d{4}-\d{7} 国内电话号码，010-68913536，0725-3321847
[1-9]?\d:0-99 1\d{2}:100-199 2[0-4]\d:200-249 25[0-5]:250-255
([1-9]?\d|1\d{2}|2[0-4]\d|25[0-5]):0-255

匹配IP地址的正则表达式（IP地址fen4段，每段0-255）
\d+.\d+.\d+.\d+
\d{1,3}.\d{1,3}.\d{1,3}.\d{1,3}

Re库的基本使用
Re库是python的标准库，主要用于字符串匹配

正则表达式类型
raw string类型（原生字符串类型）
例如：r’[1-9]\d{5}’
raw string是不包含转义符\的字符串

string类型，更繁琐
例如：’[1-9]\d{5}’

当正则表达式包含转义符时，使用raw string

Re库主要功能函数
re.search(pattern,string,flags=0)
在一个字符串中搜索匹配正则表达式的第一个位置，返回match对象
pattern：正则表达式的字符串或原生字符串表示
string：待匹配字符串
flagas：正则表达式使用时的控制标记
re.I re.IGNORECASE 忽略正则表达式的大小写，[A-Z]能够匹配小写字符
re.M re.MULTILINE 正则表达式中的^操作符能够将给定字符串的每行当作匹配开始
re.S re.DOTALL 正则表达式中的.操作符能够匹配所有字符，默认匹配除换行外的所有字符

re.match(pattern,string,flags=0)
从一个字符串的开始位置起匹配正则表达式，返回match对象
pattern：正则表达式的字符串或原生字符串表示
string：待匹配字符串
flagas：正则表达式使用时的控制标记

re.findall(pattern,string,flags=0)
搜索字符串，以列表类型返回全部能匹配的字符串
pattern：正则表达式的字符串或原生字符串表示
string：待匹配字符串
flagas：正则表达式使用时的控制标记

re.split(pattern,string,maxsplit=0,flags=0)
将一个字符串按照正则表达式匹配结果进行分割，返回列表类型
pattern：正则表达式的字符串或原生字符串表示
string：待匹配字符串
maxsplit:最大分割数，剩余部分作为最后一个元素输出
flagas：正则表达式使用时的控制标记

re.finditer(pattern,string,flags=0)
搜索字符串，返回一个匹配结果的迭代类型，每个迭代元素是match对象
pattern：正则表达式的字符串或原生字符串表示
string：待匹配字符串
flagas：正则表达式使用时的控制标记

re.sub(pattern,repl,string,count=0,flags=0)
在一个字符串中替换所有匹配正则表达式的子串，返回替换后的字符串
pattern：正则表达式的字符串或原生字符串表示
repl：替换匹配字符串的字符串
string：待匹配字符串
count：匹配的最大替换次数
flagas：正则表达式使用时的控制标记

Re库的另一种等价用法
面向对象用法：编译后的多次操作
pat=re.compiler(r’[1-9]\d{5}’)
rst=pat.search(‘100086BTT HFB321000’)

regex=re.compile(pattern,flags=0)
将正则表达式的字符串形式编译成正则表达式对象
pattern：正则表达式的字符串或原生字符串表示
flagas：正则表达式使用时的控制标记

Re库的Match对象
Match对象的属性
.string 待匹配的文本
.re 匹配时使用的pattern对象（正则表达式）
.pos 正则表达式搜索文本的开始位置
.endpos 正则表达式搜索文本的结束位置

Match对象的方法
.group（0）获得匹配后的字符串
.star（）匹配字符串在原始字符串的开始位置
.end（）匹配字符串在原始字符串的结束位置
.span（）返回（.star(),.end()）

Re库默认采用贪婪匹配，即输出匹配最长的字串

最小匹配操作符
*? 前一个字符0次或无限次扩展，最小匹配
+? 前一个字符1次或无限次扩展，最小匹配
?? 前一个字符0次或1次扩展，最小匹配
{m,n} 扩展前一个字符m至nci（含n），最小匹配

import re

match=re.search(r'[1-9]\d{5}','BTT 100081')
if match:
    print(match.group(0))

match=re.match(r'[1-9]\d{5}','BTT 100081')
if match:                #判断match是否为空
    print(match.group(0))
match=re.search(r'[1-9]\d{5}','100086 BTT')
if match:
    print(match.group(0))

ls=re.findall(r'[1-9]\d{5}','100086BTT HFB321000' )
print(ls)

lt1=re.split(r'[1-9]\d{5}','100086BTT HFB321000')
print(lt1)
lt2=re.split(r'[1-9]\d{5}','100086BTT HFB321000',maxsplit=1)
print(lt2)

for m in re.finditer(r'[1-9]\d{5}','100086BTT HFB321000'):
    if m:
        print(m.group(0))

new=re.sub(r'[1-9]\d{5}',':cool','100086BTT HFB321000')
print(new)

m=re.search(r'[1-9]\d{5}',':cool','100086BTT HFB321000')
print(m.string)
print(m.re)
print(m.pos,m.endpos)
print(m.group(0))
print(m.start(),m.end())