正则表达式与文本处理器

目录

前言

一.grep命令

二.基础正则表达式常见元字符

1.特殊字符

2.定位符

3.非打印符

三.扩展正则表达式

四.元字符操作案例

1.查找特定字符

2.利用中括号“[]“来查找集合字符

3.查找行首"^"与行尾字符"$"

4.查找任意一个字符"."与重复字符"*"

5.查找连续字符范围"{}"

五.总结：元字符

---

前言

       正则表达式，又称规则表达式。（英语：Regular Expression），在代码中常简写为regex、regexp 或 RE），计算机科学的一个概念。正则表达式通常被用来检索、替换那些符合某个模式(规则)的文本。
       正则表达式不只有一种，而且 LINUX 中不同的程序可能会使用不同的正则表达式，如：工具：grep sed awk egrep 

正则表达式---通常用于判断语句中，用来检查某一字符串是否满足某一格式
正则表达式是由普通字符与元字符组成
普通字符包括大小写字母、数字、标点符号及一些其他符号
元字符是指在正则表达式中具有特殊意义的专用字符，可以用来规定其前导字符（即位于元字符前面的字符）在目标对象中的出现模式 

LINUX 中常用的有两种正则表达式引擎
基础正则表达式：BRE
扩展正则表达式: ERE
 

一.grep命令

1. 1. grep [选项]… 查找条件 目标文件
2. -E ：开启扩展（Extend）的正则表达式
3. -c ：计算找到 '搜寻字符串' 的次数
4. -i ：忽略大小写的不同，所以大小写视为相同
5. -o ：只显示被模式匹配到的字符串
6. -v ：反向选择，亦即显示出没有 '搜寻字符串' 内容的那一行！（反向查找，输出与查找条件不相符的行）
7. --color=auto ：可以将找到的关键词部分加上颜色的显示喔！
8. -n ：顺便输出行号

grep -c

grep -i（查找关键字并且不区分大小写）

grep -v（在/etc/passwd下，查找除了root关键字以外的所有文件）

grep -n（查找关键字并且显示行数）

grep -o（查找被模式匹配的字符串）

二.基础正则表达式元字符

1.特殊字符

\：转义符，将特殊字符进行转义，忽略其特殊意义a\.b匹配a.b，被转义为特殊意义\\\\

^：匹配行首，^则是匹配字符串的开始^tux匹配以tux开头的行^^^^

$：匹配行尾，$则是匹配字符串的结尾tux$匹配以tux结尾的行$$$$ 

.：匹配除换行符\r\n之外的任意单个字符

[list]：匹配list列表中的一个字符 例： go[ola]d，[abc]、[a-z]、[a-z0-9]

[^list]：匹配任意不在list列表中的一个字符 例： [^a-z]、[^0-9]、[^A-Z0-9]

*：匹配前面子表达式0次或者多次 例：goo*d、go.*d

\{n\} :匹配前面的子表达式n次，例:go\{2\}d、'[O-9]\{2\}'匹配两位数字

\{n,\}:匹配前面的子表达式不少于n次，例: go\{2,\}d、' [0-9]\{2,\}'匹配两位及两位以上数字

\{n,m\}﹔匹配前面的子表达式n到m次，例: go\{2,3\)d、'[0-9]\{2,3\}'匹配两位到三位数字

注: egrep、awk使用{n}、{n, }、{n, m}匹配时“{}"前不用加"\”
egrep -E -n 'wo{2}d' test.txt   //-E 用于显示文件中符合条件的字符
egrep -E -n 'wo{2,3}d' test.txt
 

2.定位符

^ 匹配输入字符串开始的位置
$ 匹配输入字符串结尾的位置
 

3.非打印符

\n 匹配一个换行符
\r 匹配一个回车符
\t 匹配一个制表符
 

三.扩展正则表达式

• +    作用：重复一个或者一个以上的前一个字符
• ？    作用：零个或者一个的前一个字符
• |    作用：使用或者（or）的方式找出多个字符
• ()    作用：查找“组”字符串
• ()+    作用：辨别多个重复的组

 示例1:egrep -n 'wo+d' lianxi.txt

示例2：egrep -n 'bes?t' lianxi.txt

示例3：egrep -n 'of|is|on' lianxi.txt

示例4： egrep -n 't(a|e)st' lianxi.txt

示例5：egrep -n 'A(xyz)+C' lianxi.txt

四.元字符操作案例

1.查找特定字符

grep -n 'the' lianxi.txt

grep -in 'the' lianxi.txt

grep -vn 'the' lianxi.txt

2.利用中括号"[]"来查找集合字符

1.想要查找“shirt”与“short”这两个字符串时，可以发现这两个字符串均包含“sh”与“rt”。此时执行以下命令即可同时查找到“shirt”与“short”这两个字符串，其中“[]”中无论有几个字符， 都仅代表一个字符，也就是说“[io]”表示匹配“i”或者“o”。

grep -n 'sh[io]rt' lianxi.txt

 示例：

---

 

2.若要查找包含重复单个字符“oo”时，只需要执行以下命令即可。

grep -n 'oo' lianxi.txt

 

---

 3.若查找“oo”前面不是“w”的字符串，只需要通过集合字符的反向选择“[^]”来实现该目的。

grep -n '[^w]oo' lianxi.txt

---

4.若不希望“oo”前面存在小写字母，可以使用“grep -n‘[^a-z]oo’ lianxi.txt”命令实现，

“a-z”表示小写字母，大写字母则通过“A-Z”表示。

grep -n '[^a-z]oo' lianxi.txt

---

5. 查找包含数字的行可以通过“grep -n ‘[0-9]’ lianxi.txt”命令来实现。

grep -n '[0-9]' lianxi.txt

---

3.查找行首“^”与行尾字符“$”

1.基础正则表达式包含两个定位元字符：“^”（行首）与“$”（行尾）。

grep -n '^the' lianxi.txt

 

---

2. 查询以小写字母开头的行可以通过“^[a-z]”规则来过滤，查询大写字母开头的行则使用
“^[A-Z]”规则，若查询不以字母开头的行则使用“^[^a-zA-Z]”规则。

grep -n '^[a-z]' lianxi.txt

grep -n '^[A-Z]' lianxi.txt

grep -n '^[^a-zA-Z]' lianxi.txt

 ^”符号在元字符集合“[]”符号内外的作用是不一样的，在“[]”符号内表示反向选择，在“[]” 符号外则代表定位行首。反之，若想查找以某一特定字符结尾的行则可以使用“$”定位符。例如，执行以下命令即可实现查询以小数点（.）结尾的行。因为小数点（.）在正则表达式中也是一个元字符，所以在这里需要用转义字符“\”将具有特殊意义的字符转化成普通字符。

例：

---

3.当查询空白行时，执行“grep -n‘^$’test.txt”命令即可 

grep -n '^$' lianxi.txt

---

4.查找任意一个字符“.”与重复字符“*” 

1.在正则表达式中小数点（.）也是一个元字符，代表任意一个字符。例如执行以下命令就可以查找“w??d”的字符串，即共有四个字符，以 w 开头 d 结尾。

 grep -n 'w..d' lianxi.txt 

---

2.“wood”字符串“w..d”匹配规则。若想要查询 oo、ooo、ooooo 等资料， 则需要使用星号（*）元字符。但需要注意的是，“*”代表的是重复零个或多个前面的单字符。 “o*”表示拥有零个（即为空字符）或大于等于一个“o”的字符，因为允许空字符，所以执行“grep-n 'o*' test.txt”命令会将文本中所有的内容都输出打印。如果是“oo*”，则第一个 o 必须存在， 第二个 o 则是零个或多个 o，所以凡是包含 o、oo、ooo、ooo，等的资料都符合标准。同理，若查询包含至少两个 o 以上的字符串，则执行“grep -n 'ooo*' test.txt”命令即可。

grep -n 'ooo*' lianxi.txt

---

2.查询以 w 开头 d 结尾，中间包含至少一个 o 的字符串，执行以下命令即可实现

grep -n 'woo*d' lianxi.txt

 

---

3.执行以下命令即可查询以 w 开头 d 结尾，中间的字符可有可无的字符串。 

grep -n 'w.*d' lianxi.txt

---

4.执行以下命令即可查询任意数字所在行。

grep -n '[0-9][0-9]*' lianxi.txt

两种语法'*'只能在中括号中间，或者结尾

 

 

---

5.查找连续字符范围“{}” 

① 查询两个 o 的字符。

② 查询以 w 开头以 d 结尾，中间包含 2～5 个 o 的字符串。 

③ 查询以 w 开头以 d 结尾，中间包含 2 个或 2 个以上 o 的字符串。

---

五.总结：元字符

• ^    匹配输入字符串的开始位置。除非在方括号表达式中使用，表示不包含该字符集合。要匹配“^” 字符本身，请使用“\^”
• $    匹配输入字符串的结尾位置。如果设置了RegExp 对象的 Multiline 属性，则“$”也匹配‘\n’或‘\r’。要匹配“$”字符本身，请使用“\$”
• .    匹配除“\r\n”之外的任何单个字符
• \    反斜杠，又叫转义字符，去除其后紧跟的元字符或通配符的特殊意义
• *    匹配前面的子表达式零次或多次。要匹配“*”字符，请使用“\*”
• []    字符集合。匹配所包含的任意一个字符。例如，“[abc]”可以匹配“plain”中的“a”
• [^]    赋值字符集合。匹配未包含的一个任意字符。例如，“[^abc]”可以匹配“plin”中任何一个字母
• [n1-n2]    字符范围。匹配指定范围内的任意一个字符。例如，“[a-z]”可以匹配“a”到“z”范围内的任意一个小写字母字符。
• 注意：只有连字符（-）在字符组内部，并且出现在两个字符之间时，才能表示字符的范围；如果出现在字符组的开头，则只能表示连字符本身
• {n}    n 是一个非负整数，匹配确定的 n 次。例如，“o{2}”不能匹配“Bob”中的“o”，但是能匹配“food”中的“oo”
• {n,}    n 是一个非负整数，至少匹配 n 次。例如，“o{2,}”不能匹配“Bob”中的“o”，但能匹配“foooood”中的所有o。“o{1,}”等价于“o+”。“o{0,}”则等价于“o*”
• {n,m}    m 和 n 均为非负整数，其中 n<=m，最少匹配 n 次且最多匹配m 次