正则表达式

最新推荐文章于 2024-09-29 17:57:49 发布

稀奇古怪de

最新推荐文章于 2024-09-29 17:57:49 发布

阅读量119

点赞数

分类专栏：基础知识 linux python 文章标签： regex 正则表达式

本文链接：https://blog.csdn.net/ICMPARP/article/details/119817459

版权

基础知识同时被 3 个专栏收录

24 篇文章 1 订阅

订阅专栏

python

15 篇文章 0 订阅

订阅专栏

linux

10 篇文章 0 订阅

订阅专栏

参考
文档
 博客
《Python 3网络爬虫开发实战》–崔庆才

测试网站

https://tool.oschina.net/regex

字符

实例	描述
[]	字符集，一个字符的集合，可匹配其中任意一个字符
\|	逻辑表达式或，比如 a\|b代表可匹配a或者b
(…)	分组，默认为捕获，即被分组的内容可以被单独取出，默认每个分组有个索引，从 1 开始，按照"("的顺序决定索引值


例子
[Pp]ython	匹配 “Python” 或 “python”
rub[ye]	匹配 “ruby” 或 “rube”
[aeiou]	匹配中括号内的任意一个字母
[0-9]	匹配任何数字。类似于 [0123456789]
[a-z]	匹配任何小写字母
[A-Z]	匹配任何大写字母
[a-zA-Z0-9]	匹配任何字母及数字
[^aeiou]	除了aeiou字母以外的所有字符
[^0-9]	匹配除了数字外的字符


.	匹配除 “\n” 之外的任何单个字符。要匹配包括 ‘\n’ 在内的任何字符，请使用象 ‘[.\n]’ 的模式。
`\d`	匹配一个数字字符。等价于 [0-9]。
\D	匹配一个非数字字符。等价于 `[^0-9]`。
\s	匹配任何空白字符，包括空格、制表符、换页符等等。等价于 [ \f\n\r\t\v]。
`\S`	匹配任何非空白字符。等价于 `[^\f\n\r\t\v]`。
`\w`	匹配包括下划线的任何单词字符。等价于`[A-Za-z0-9_]`。
\W	匹配任何非单词字符。等价于 `[^A-Za-z0-9_]`。
\A	匹配字符串开始位置，忽略多行模式
\z	匹配字符串结束位置，若存在换行，同时还会匹配到换行符
\Z	匹配字符串结束位置，忽略多行模式若存在换行，只匹配到换行前的结束字符串
\b	匹配位于单词开始或结束位置的空字符串
\B	匹配不位于单词开始或结束位置的空字符串

一般限定字符

限定符用来指定正则表达式的一个给定组件必须要出现多少次才能满足匹配。有 * 或 + 或 ? 或 {n} 或 {n,} 或 {n,m} 共6种。

字符	描述
`*`	前面的字符出现零次或者一次或者多次。例如，zo* 能匹配 “z” 以及 “zoo”。* 等价于{0,}。
`+`	前面的字符出现一次或者多次。例如，‘zo+’ 能匹配 “zo” 以及 “zoo”，但不能匹配 “z”。+ 等价于 {1,}。
`?`	匹配前面的子表达式零次或一次。例如，“do(es)?” 可以匹配 “do” 、 “does” 中的 “does” 、 “doxy” 中的 “do” 。? 等价于 {0,1}。
`{n}`	出现固定n次。n非负。例如，‘o{2}’ 不能匹配 “Bob” 中的 ‘o’，但是能匹配 “food” 中的两个 o。
`{n,}`	至少出现n 次。n非负。例如，‘o{2,}’ 不能匹配 “Bob” 中的 ‘o’，但能匹配 “foooood” 中的所有 o。‘o{1,}’ 等价于 ‘o+’。‘o{0,}’ 则等价于 ‘o*’。
`{n,m}`	最少出现n 次且最多匹配 m 次。m 和 n 非负整数，其中n <= m。例如，“o{1,3}” 将匹配 “fooooood” 中的前三个 o。‘o{0,1}’ 等价于 ‘o?’。请注意在逗号和两个数之间不能有空格。

.代表任意字符（除了换行）

.+ 任意字符（除了换行）出现一次或多次

.*任意字符（除了换行）任意次数

.?任意字符（除了换行）出现零次或一次

.{num1,num2}任意字符（除了换行）至少出现num1次到num2次

贪婪模式 `.` 和非贪婪模式 `.?`

贪婪匹配是尽可能匹配多的字符，非贪婪匹配就是尽可能匹配少的字符。
如果匹配的结果在字符串结尾，*？就有可能匹配不到任何内容了，因为它会匹配尽可能少的字符。

source='<html><head><title>Title</title>

想要获得

['<html>','<head>','<title>','</title>']

很容易想到使用正则表达式<.*>

p=re.compile(r'<.*>')
print(p.findall(source))

但结果不对

[‘Title’]

这是因为*,+, ?都是贪婪的,使用他们时，会尽可能多的匹配内容。即从第一个< 匹配到最后一个>符号

解决这个问题，就需要使用非贪婪模式，也就是在星号后面加上? ,变成这样<.*?>
在做匹配的时候，字符串中间尽量使用非贪婪匹配，也就是用.*？来代替.*

非打印字符

非打印字符也可以是正则表达式的组成部分。下表列出了表示非打印字符的转义序列：

字符	描述
\cx	匹配由x指明的控制字符。例如， \cM 匹配一个 Control-M 或回车符。x 的值必须为 A-Z 或 a-z 之一。否则，将 c 视为一个原义的 ‘c’ 字符。
\f	匹配一个换页符。等价于 \x0c 和 \cL。
\n	匹配一个换行符。等价于 \x0a 和 \cJ。
\r	匹配一个回车符。等价于 \x0d 和 \cM。
\s	匹配任何空白字符，包括空格、制表符、换页符等等。等价于 [ \f\n\r\t\v]。注意 Unicode 正则表达式会匹配全角空格符。
\S	匹配任何非空白字符。等价于 `[^ \f\n\r\t\v]`。
\t	匹配一个制表符。等价于 \x09 和 \cI。
\v	匹配一个垂直制表符。等价于 \x0b 和 \cK。

特殊字符

特别字符	描述
$	匹配输入字符串的结尾位置。如果设置了 RegExp 对象的 Multiline 属性，则 $ 也匹配 ‘\n’ 或 ‘\r’。要匹配 $ 字符本身，请使用 `\$`。
( )	标记一个子表达式的开始和结束位置。子表达式可以获取供以后使用。要匹配这些字符，请使用 `$` 和 `$`。
*	匹配前面的子表达式零次或多次。要匹配 * 字符，请使用 `\*`。
+	匹配前面的子表达式一次或多次。要匹配 + 字符，请使用 `\+`。
.	匹配除换行符 \n 之外的任何单字符。要匹配 . ，请使用 `\.` 。
[	标记一个中括号表达式的开始。要匹配 [，请使用 `\[`。
?	匹配前面的子表达式零次或一次，或指明一个非贪婪限定符。要匹配 ? 字符，请使用 ?。
\	将下一个字符标记为或特殊字符、或原义字符、或向后引用、或八进制转义符。例如， ‘n’ 匹配字符 ‘n’。’\n’ 匹配换行符。序列 `'\\'` 匹配 `"\"`，而 `\(` 则匹配 `"("`。
^	匹配输入字符串的开始位置，除非在方括号表达式中使用，当该符号在方括号表达式中使用时，表示不接受该方括号表达式中的字符集合。要匹配 ^ 字符本身，请使用 `\^`。
{	标记限定符表达式的开始。要匹配 {，请使用 `\{`。
\|	指明两项之间的一个选择。要匹配 \|，请使用 `\\|`。

linux正则

以行为处理单位，默认输出与表达式匹配的行

基本元字符

^：匹配行开头；
$：匹配行结尾；
.：所有的单个字符；换行符\n 除外

egrep 命令

[ ]：单个字符，如[A]即 A 符合要求；
[-]：范围，如[A-Z]，即 A、B、C 一直到 Z 都符合要求；
{} ：限制正则表达式的匹配次数
+：至少匹配一次(一次或多次)
?：最多匹配一次（0次或1次
*：匹配任意次数。（零次到多次）
\b：划分单词边界
\<：匹配单词开头；或使用
\> ：匹配单词结尾；

python正则re模块

re模块使 Python语言拥有全部的正则表达式功能
compile函数根据一个模式字符串和可选的标志参数生成一个正则表达式对象。该对象拥有一系列方法用于正则表达式匹配和替换。
re模块也提供了与这些方法功能完全一致的函数，这些函数使用一个模式字符串做为它们的第一个参数
match和search一旦匹配成功，就是一个match object对象，而match object对象有以下方法：
. group() 返回被 RE 匹配的字符串
. start() 返回匹配开始的位置
. end() 返回匹配结束的位置
. span() 返回一个元组包含匹配 (开始,结束) 的位置
. group() 返回re整体匹配的字符串，可以一次输入多个组号，对应组号匹配的字符串。
a. group（）返回re整体匹配的字符串，
b. group (n,m) 返回组号为n，m所匹配的字符串，如果组号不存在，则返回indexError异常
c.groups（）groups() 方法返回一个包含正则表达式中所有小组字符串的元组，从 1 到所含的小组号，通常groups()不需要参数，返回一个元组，元组中的元就是正则表达式中定义的组。

re.match函数

尝试从字符串的起始位置匹配一个模式，如果不是起始位置匹配成功的话，match()就返回none。匹配成功返回一个对象SRE_Match

re.match(pattern, string, flags=0)

re.search方法

re.search(pattern, string, flags=0)

re.match只匹配字符串的开始，如果字符串开始不符合正则表达式，则匹配失败，函数返回None；而re.search匹配整个字符串，直到找到第一个匹配

re.findall()

返回匹配正则表达式的所有内容

re.sub()

修改文本

content = '54ak54yrsoiR541x5L2g' 
content = re.sub('\d+','', content） # 用 第二个参数的内容替换第一个参数匹配到的内容

re.compile 函数

compile 函数用于编译正则表达式，生成一个正则表达式（ Pattern ）对象，供 match() 和 search() 这两个函数使用。

语法格式为

re.compile(pattern[, flags])

pattern : 一个字符串形式的正则表达式
flags : 可选，表示匹配模式，比如忽略大小写，多行模式等，具体参数为：
1. re.I 忽略大小写
2. re.L 表示特殊字符集 \w, \W, \b, \B, \s, \S 依赖于当前环境
3. re.M 多行模式
4. re.S 即为 . 并且包括换行符在内的任意字符（. 不包括换行符）
5. re.U 表示特殊字符集 \w, \W, \b, \B, \d, \D, \s, \S 依赖于 Unicode 字符属性数据库
6. re.X 为了增加可读性，忽略空格和 # 后面的注释