shell脚本之——正则表达式

一、正则表达式的概述

1.1、概念

正则表达式：又称规则表达式，（英语：Regular Expression，在代码中常简写为regex、regexp或RE），计算机科学的一个概念。

正则表达式通常被用来检索、替换那些符合某个模式(规则)的文本。

正则表达式是对字符串（包括普通字符（例如，a 到 z 之间的字母）和特殊字符（称为“元字符”））操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。

正则表达式是一种文本模式，该模式描述在搜索文本时要匹配的一个或多个字符串。

1.2、作用

通常用于判断语句中，用来检查某一字符串是否满足某一格式

• 正则表达式是由普通字符与元字符组成

• 普通字符包括大小写字母、数字、标点符号及一些其他符号

• 元字符是指在正则表达式中具有特殊意义的专用字符，可以用来规定其前导字符(即位于元字符前面的字符)在目标对象中的出现模式

1.3、可达到的目的

给定一个正则表达式和另一个字符串，我们可以达到如下的目的：

给定的字符串是否符合正则表达式的过滤逻辑（称作“匹配”）
可以通过正则表达式，从字符串中获取我们想要的特定部分

二、基础正则

2.1、基础正则常见元字符：(支持的 工具: grep、 egrep、 sed、awk)

\ : 转义字符，用于取消特殊符号的含义，例: !、\n、$等

^ : 匹配字符串开始的位置，例: ^a、 ^the、 ^#、[a-z]

$ : 匹配字符串结束的位置，例: wordKaTeX parse error: Expected group after '^' at position 3: 、 ^̲匹配空行

. : 匹配除\n之外的任意的一个字符，例: lo.*k、lo.k、l…k

• : 匹配前面子表达式0次或者多次，例: look、lok

[list] : 匹配list列表中的一个字符，例: go[ola]d， [abc]、 [a-z]、 [a-z0-9]、 [0-9]匹配任意一位数字

[^list] : 匹配任意非list列表中的一个字符，例: [^0-9]、[A-Z0-9]、 [^a-z]匹配任意一位非小写字母

{n} : 匹配前面的子表达式n次，例: lo{2}k、 '[0-9]{2}'匹配两位数字

{n,} : 匹配前面的子表达式不少于n次，例: lo{2,}k、 '[0-9]{2,}'匹配两位及两位以上数字

{n,m} : 匹配前面的子表达式n到m次，例: lo{2,3}k、 '[0-9]{2,3}'匹配两位到三位数字

注: egrep、 awk使用{n}、{n,}、 {n, m}匹配时“{}"前不用加“\”

2.2、实例操作

1 * 匹配前面 子表达式0次或者多次

[root@weq ~]# cat zz.txt
lk
lok
look
loook
looooook
loooooaaak
looooooook
abbbbcd
abbbbcd666
ooooloooook
oooooolk
[root@weq ~]# grep "loo*k" zz.txt
lok
look
loook
looooook
looooooook
ooooloooook
[root@weq ~]# grep "lo*k" zz.txt
lk
lok
look
loook
looooook
looooooook
ooooloooook
oooooolk

2 . 匹配除\n之外的任意的一个字符

[root@weq ~]# cat zz.txt
lk
lok
look
loook
looooook
loooooaaak
looooooook
abbbbcd
abbbbcd666
ooooloooook
oooooolk
lobk
ladk0000
[root@weq ~]# grep "lo.*k" zz.txt
lok
look
loook
looooook
loooooaaak
looooooook
ooooloooook
lobk
[root@weq ~]# grep "lo.k" zz.txt
look
lobk
[root@weq ~]# grep "l..k" zz.txt
look
lobk
ladk0000

3 \{n\} : 匹配前面的子表达式n次；{n,} : 匹配前面的子表达式不少于n次;\{n,m\} : 匹配前面的子表达式n到m次
注: egrep、 awk使用{n}、{n,}、 {n, m}匹配时“{}"前不用加“\”

grep -E 相当于 egrep

[root@weq ~]# cat zz.txt
lk
lok
look
loook
looooook
loooooaaak
looooooook
abbbbcd
abbbbcd666
ooooloooook
oooooolk
lobk
ladk0000
[root@weq ~]# grep "lo\{2\}k" zz.txt
look
[root@weq ~]# grep "lo\{2,\}k" zz.txt
look
loook
looooook
looooooook
ooooloooook
[root@weq ~]# grep "lo\{5,8\}k" zz.txt
looooook
looooooook
ooooloooook

4 ^ 匹配字符串开始的位置；$ 匹配字符串结束的位置；^$匹配空行

[root@weq ~]# cat zv.txt
aaa
 
abd
cdd
cdc
cdd
[root@weq ~]# grep "^c" zv.txt
cdd
cdc
cdd
[root@weq ~]# grep "d$" zv.txt
abd
cdd
cdd
[root@weq ~]# grep "^$" zv.txt

5 [list] 匹配list列表中的一个字符；[^list] 匹配任意非list列表中的一个字符

[root@weq ~]# cat zx.txt
lok
lo12k
lo1k
loAk
loBk
look
loak
lodk
abcd
1234
[root@weq ~]# grep "lo[a-zA-Z0-9]k" zx.txt
lo1k
loAk
loBk
look
loak
lodk
[root@weq ~]# grep "lo[ABo]k" zx.txt
loAk
loBk
look
[root@weq ~]# grep "lo[^a-zA-Z]k" zx.txt
lo1k
[root@weq ~]# grep "[^a-zA-Z]" zx.txt
lo12k
lo1k
1234

三、扩展正则

3.1、扩展正则表达式元字符: ( 支持的工具: egrep、 awk)

+ : 匹配前面 子表达式1次以上，例: lo+k， 将匹配至少一个o，如lok、look、loook等
 
? : 匹配前面 子表达式0次或者1次，例: lo?k，将匹配lk或lok
 
() : 将括号中的字符串作为一个整体，例: l(oo)+k， 将匹配oo整体1次以上，如look、looook等
 
| : 以或的方式匹配字条串，例: l(oo|ab)k， 将匹配look或者labk
{} ：允许为可重复的正则表达式指定一个上限，这通常称为间隔（interval）
{n} 重复n次；{n,} 重复n次或更多次；{n,m} 重复n到m次

3.2、实例操作

• 匹配前面 子表达式1次以上

[root@weq ~]# cat zz.txt
lk
lok
look
loook
looook
loooook
looooook
looooooook
loooooaaak
labk
ooloooook
oolk
lobk
[root@weq ~]# egrep "lo+k" zz.txt
lok
look
loook
looook
loooook
looooook
looooooook
ooloooook

? 匹配前面 子表达式0次或者1次

[root@weq ~]# egrep "lo?k" zz.txt
lk
lok
oolk

() 将括号中的字符串作为一个整体

[root@weq ~]# egrep "l(oo)+k" zz.txt
look
looook
looooook
looooooook

| 以或的方式匹配字条串

[root@weq ~]# egrep "l(oo|ab)k" zz.txt
look
labk
[root@weq ~]# egrep "l(oo|ab)+k" zz.txt
look
looook
looooook
looooooook
labk

{} 允许为可重复的正则表达式指定一个上限
{n} 重复n次；{n,} 重复n次或更多次；{n,m} 重复n到m次

[root@weq ~]# cat zz.txt
lk
lok
look
loook
looook
loooook
looooook
looooooook
loooooaaak
labk
ooloooook
oolk
lobk
[root@weq ~]# egrep "lo{3}k" zz.txt
loook
[root@weq ~]# egrep "lo{3,}k" zz.txt
loook
looook
loooook
looooook
looooooook
ooloooook
[root@weq ~]# egrep "lo{3,5}k" zz.txt
loook
looook
loooook
ooloooook