Shell编程之正则表达式与文本处理器

正则表达式的定义

        正则表达式又称正规表达式，常规表达式。在代码中常简写为 regex、regexp 或 RE。 正则表达式是使用单个字符串来描述、匹配一系列符合某个句法规则的字符串，简单来说， 是一种匹配字符串的方法，通过一些特殊符号，实现快速查找、删除、替换某个特定字符串。

        正则表达式是由普通字符与元字符组成的文字模式。模式用于描述在搜索文本时要匹 配的一个或多个字符串。正则表达式作为一个模板，将某个字符模式与所搜索的字符串进 行匹配。其中普通字符包括大小写字母、数字、标点符号及一些其他符号，元字符则是指 那些在正则表达式中具有特殊意义的专用字符，可以用来规定其前导字符（即位于元字符 前面的字符）在目标对象中的出现模式。

        正则表达式一般用于脚本编程与文本编辑器中。很多文本处理器与程序设计语言均支持正则表达式，例如 Linux 系统中常见的文本处理器（grep、egrep、sed、awk）以及应用比较广泛的 Python 语言。正则表达式具备很强大的文本匹配功能，能够在文本海洋中快速高 效地处理文本。

一.基础正则表达式

1.定义

         正则表达式的字符串方法根据不同的严谨程度与功能分为基本正则表达式与扩展正则表达式。基础正则表达式是常用正则表达式最基础的部分。在 Linux 系统中常见的文件 处理工具中 grep 与 sed 支持基础正则表达式，而 egrep 与 awk 支持扩展正则表达式。掌握 基础正则表达式的使用方法，首先必须了解基本正则表达式所包含元字符的含义，下面通过 grep 命令以举例的方式逐个介绍。

2.基础正则表达式实例

在操作之前提前准备一个名为test.txt的测试文件，并为其添加一些内容。

（1）查找特定字符

命令执行后，符合匹配标准的字符字体颜色会变为红色

         其中“-n”表示显示行号，“-i”表示不区分大小写。

如果要反向查找不包含“the”字符的行，则需要通过grep命令的“-v”选项实现。

 （2）利用中括号“[]”来查找集合字符

        想要查找“shirt”与“short”这两个字符串时，可以发现这连个字符串均包含“sh”与“rt”。此时执行以下命令即可同时查找到“shirt”与“short”这两个字符串，其中“[]”中无论有几个字符，都仅代表一个字符，也就是说“[io]”表示匹配“i”或者“o”。（3）查看重复的单字符

可以发现3,5,7,10,13行所有有两个字母“o”在一起的字符颜色都变成了红色，而那些单个字母“o”的还是黑色，所以引号内的内用grep在查询时会被当做一个整体来查找。

（4）查找指定字符前面不是某个字符的字符串

        在上述命令的执行结果中发现“woood”与“wooooood”也符合匹配规则，二者均包含“w”。 其实通过执行结果就可以看出，符合匹配标准的字符加粗显示，而上述结果中可以得知， “#woood #”中加粗显示的是“ooo”，而“oo”前面的“o”是符合匹配规则的。同理“#woooooood #” 也符合匹配规则 

（5）指定字符前面不包含（a-z）的小写字母

（6）查看包含数字行

（7）查找行首“^”与行尾字符“$”

        基础正则表达式包括两个定位元字符：“^”（行首），“$”（行尾），查看以the为行首的行。

“^”符号在元字符集合“[]”符号内表示反向解析，在外则代表定位行首查看以小写字母结尾的行 

（8）查找任意一个字符“.”与重复字符“*”

        在正则表达式中小数点（.）也是一个元字符，代表任意一个字符，有多少个点就代表有多少个任意字符。

“*”代表的是重复零个或多个前面的单字符。“o*”表示拥有零个（即为空字符）或大于等于一个“o”的字符，因为允许空字符，所以执行“grep -n 'o*' test.txt”命令会将文本中所有的内容都输出打印。如果是“oo*”，则第一个 o 必须存在， 第二个 o 则是零个或多个 o，所以凡是包含 o、oo、ooo、ooo，等的资料都符合标准。同 理，若查询包含至少两个 o 以上的字符串，则执行“grep -n 'ooo*' test.txt”命令即可

 查询以 w 开头 d 结尾，中间包含至少一个 o 的字符串，执行以下命令即可实现。

（9）查找连续字符范围“{}”

        查找三到五个 o 的连续字符，这个时候就需 要使用基础正则表达式中的限定范围的字符“{}”。因为“{}”在 Shell 中具有特殊意义，所以在 使用“{}”字符时，需要利用转义字符“\”，将“{}”字符转换成普通字符。

1.查询两个 o 的字符。

2.查询以 w 开头以 d 结尾，中间包含 2～5 个 o 的字符串。 

3. 查询以 w 开头以 d 结尾，中间包含 2 个或 2 个以上 o 的字符串。

（10）元字符总结

基础正则表达式常见元字符
元字符	作用
^	匹配输入字符串的开始位置，除非在方括号表达式中使用，表示不包含该字符集合。要匹配“^”字符本身，请使用“\^”
$	匹配输入字符串的结尾位置
.	匹配除“\r\n”之外的任何单个字符
\	反斜杠，又叫转义字符，去除其后紧跟的元字符或通配符的特殊意义
*	匹配前面的子表达式零次或多次；要匹配“*”字符，请使用“\*”
[]	字符集合，匹配所包含的任意一个字符；例如，“[abc]”可以匹配“plain”中的“a”
[n1-n2]	字符范围，匹配指定范围的任意一个字符；例如，“[a-z]”可以匹配“a”到“z”范围内的任意一个 小写字母字符。 注意：只有连字符（-）在字符组内部，并且出现在两个字符之间时，才能表示字符的范围；如 果出现在字符组的开头，则只能表示连字符本身
{n}	n是一个非负整数，匹配确定的n次；例如，“o{2}”不能匹配“Bob”中的“o”，但是能匹配“food”中 的“oo”
{n，}	n是一个非负整数，至少匹配n次；例如，“o{2,}”不能匹配“Bob”中的“o”，但能匹配“foooood”中 的所有 o。“o{1,}”等价于“o+”。“o{0,}”则等价于“o*
{n，m}	m 和 n 均为非负整数，其中 n，最少匹配 n 次且最多匹配 m 次

二.扩展正则表达式

扩展正则表达式常见元字符

元字符	作用与示例
+	作用：重复一个或者一个以上的前一个字符 示例：执行“egrep -n 'wo+d' test.txt”命令，即可查询"wood" "woood" "woooooood"等字符串
？	作用：零个或者一个的前一个字符 示例：执行“egrep -n 'bes?t' test.txt”命令，即可查询“bet”“best”这两个字符串
|	作用：使用或者（or）的方式找出多个字符 示例：执行“egrep -n 'of|is|on' test.txt”命令即可查询"of"或者"if"或者"on"字符串
（）	作用：查找“组”字符串 示例：“egrep -n 't(a|e)st' test.txt”。“tast”与“test”因为这两个单词的“t”与“st”是重复的，所以将“a”与“e” 列于“()”符号当中，并以“|”分隔，即可查询"tast"或者"test"字符串
（）+	作用：辨别多个重复的组 示例：“egrep -n 'A(xyz)+C' test.txt”。该命令是查询开头的"A"结尾是"C"，中间有一个以上的"xyz"字 符串的意思

三.文本处理器

        在 Linux/UNIX 系统中包含很多种类的文本处理器或文本编辑器,其中包括我们之前学习过的 VIM 编辑器与 grep 等。而 grep，sed，awk 更是 Shell 编程中经常用到的文本处理工具，被称之为 Shell 编程三剑客。

1.sed工具介绍

sed（Stream EDitor）是一个强大而简单的文本解析转换工具，可以读取文本，并根据指定的条件对文本内容进行编辑（删除、替换、添加、移动等），最后输出所有行或者仅输出处理的某些行。sed 也可以在无交互的情况下实现相当复杂的文本处理操作，被广泛应用于 Shell 脚本中，用以完成各种自动化处理任务。

sed 的工作流程主要包括读取、执行和显示三个过程。

• 读取：sed从输入流（文件，管道，标准输入）中读取一行内容并存储到临时的缓冲区中（模式空间）
• 执行：默认情况下，所有的sed命令都在模式空间中顺序的执行，除非指定了行的地址，否则sed命令将会在所有的行上依次执行
• 显示：发送修改后的内容到输出流。在发送数据后，模式空间将会被清空。

2. sed命令常见用法

sed 【选项】 '操作'  参数

sed 【选项】-f   scriptfile  参数

3.常见的sed命令选项

-e或-expression	表示用指定命令或者脚本来处理输入的文本文件
-f或--file=	表示用指定的脚本文件处理输入的文本文件
-h或--help	显示帮助
-n，-quiet或silent	表示仅显示处理后的结果
-i	直接编辑文本文件

4.常见的操作包

a	增加，在当前行下增加一行指定内容
c	替换，将选定行替换为指定内容
d	删除，删除指定的行
i	插入，在选定行上面插入一行指定内容
p	打印，如果同时指定行，表示打印指定行；如果不指定行，则表示打印所有内容；如果有非打印字符，则以ASCLL码输出。其通常与“-n”选项一起使用
s	替换，替换指定字符
y	字符替换

5.用法示例

[root@localhost ~]# sed -n '3p' test.txt             //输出第 3行
The home of Football on BBC Sport online.
[root@localhost ~]# sed -n '3,5p' test.txt             //输出 3~5行
The home of Football on BBC Sport online.
the tongue is boneless but it breaks bones.12!
google is the best tools for search keyword.
[root@localhost ~]# sed -n 'p;n' test.txt             //输出所有奇数行,n表示读入下一行资料
he was short and fat.The home of Football on BBC Sport online.
google is the best tools for search keyword.……        //省略部分内容
[root@localhost ~]# sed -n 'n;p' test.txt             //输出所有偶数行,n表示读入下一行资料
He was wearing a blue polo shirt with black pants.
the tongue is boneless but it breaks bones.12!
The year ahead will test our political establishment to the limit.
[root@localhost ~]# sed -n '1,5{p;n}' test.txt     //输出第 1~5行之间的奇数行(第 1、3、5行)
he was short and fat.
The home of Football on BBC Sport online.
google is the best tools for search keyword.
[root@localhost ~]# sed -n '10,${n;p}' test.txt     //输出第 10行至文件尾之间的偶数行

        在执行“sed -n‘10,${n;p}’test.txt”命令时，读取的第1行是文件的第10行，读取的第2行是文件的第11行，依此类推，所以输出的偶数行是文件的第11行、13行直至文件结尾，其中包括空行。

5.sed结合正则表达式示例 

（1）输出符合条件的文本

[root@localhost ~]# sed -n '/the/p' test.txt //输出包含 the的行
[root@localhost ~]# sed -n '4,/the/p' test.txt //输出从第 4行至第一个包含 the的行
[root@localhost ~]# sed -n '/the/=' test.txt  //输出包含 the的行所在的行号,等号(=)用来输出行号
[root@localhost ~]# sed -n '/^PI/p' test.txt //输出以 PI开头的行
[root@localhost ~]# sed -n '/[0-9]$/p' test.txt //输出以数字结尾的行
[root@localhost ~]# sed -n '/\<wood\>/p' test.txt//输出包含单词 wood的行,\<、\>代表单词边界

（2） 删除符合条件的文本

root@localhost ~]# nl test.txt | sed '3d' //删除第 3行
[root@localhost ~]# nl test.txt | sed '3,5d' //删除第 3~5行
[root@localhost ~]# nl test.txt | sed '/cross/d'//删除包含 cross的行,原本的第 8行被删除；如果要删除不包含 cross的行,用!符号表示取反操作,如'/cross/！d'
[root@localhost ~]# sed '/^[a-z]/d' test.txt //删除以小写字母开头的行
[root@localhost ~]# sed '/\.$/d' test.txt //删除以"."结尾的行
[root@localhost ~]# sed '/^$/d' test.txt //删除所有空行

（3）替换符合条件的文本 

sed 's/the/THE/' test.txt //将每行中的第一个 the替换为 THE
sed 's/l/L/2' test.txt //将每行中的第 2个 l替换为 L
sed 's/the/THE/g' test.txt //将文件中的所有 the替换为 THE
sed 's/o//g' test.txt //将文件中的所有 o删除(替换为空串)
sed 's/^/#/' test.txt //在每行行首插入#号
sed '/the/s/^/#/' test.txt //在包含 the的每行行首插入#号
sed 's/$/EOF/' test.txt //在每行行尾插入字符串 EOF
sed '3,5s/the/THE/g' test.txt //将第 3~5行中的所有 the替换为 THE
sed '/the/s/o/O/g' test.txt //将包含 the的所有行中的 o都替换为 O

（4）迁移符合条件的文本

• H：复制到剪切板
• g，G:将剪切板中的数据覆盖/追加至指定定行；
• w：保存为文件
• r：读取指定文件
• a：追加指定内容

（5）使用脚本编辑文件

使用sed脚本将多个编辑指令存放到文件中（每行一条编辑指令），通过“-f”选项来调用。例如执行以下命令即可将第1~5行内容转移至第17行后。

sed '1,5{H;d};17G' test.txt//将第1~5行内容转移至第17行后

以上操作可以改用脚本文件方式：

[root@localhost ~]#vi opt.list
1,5H
1,5d
17G

四.awk工具

1．awk常见用法

awk选项'模式或条件{编辑指令}'文件1文件2…        //过滤并输出文件中符合条件的内容

awk -f脚本文件文件1文件2…                ·                //从脚本中调用编辑指令,过滤并输出内容

awk包含几个特殊的内建变量（可直接用）如下所示：

1. FS：指定每行文本的字段分隔符，默认为空格或制表位。NF：当前处理的行的字段个数。
2. NR：当前处理的行的行号（序数）。
3. $0：当前处理的行的整行内容。
4. $n：当前处理行的第n个字段（第n列）。
5. FILENAME：被处理的文件名。
6. RS：数据记录分隔，默认为\n，即每行为一条记录。

五.sort工具

        在Linux系统中，常用的文件排序工具有三种：sort、uniq、wc。本章将介绍前两种工具的用法。        

        sort是一个以行为单位对文件内容进行排序的工具，也可以根据不同的数据类型来排序。例如数据和字符的排序就不一样。sort命令的语法为“sort [选项]参数”，其中常用的选项包括以下几种。

• -f：忽略大小写；
• -b：忽略每行前面的空格；
• -M：按照月份进行排序；
• -n：按照数字进行排序；
• -r：反向排序；
• -u：等同于uniq，表示相同的数据仅显示一行；
• -t：指定分隔符，默认使用[Tab]键分隔；
• -o 输出文件>：将排序后的结果转存至指定文件；
• -k：指定排序区域。

 五.uniq工具

Uniq工具在Linux系统中通常与sort命令结合使用，用于报告或者忽略文件中的重复行。具体的命令语法格式为：uniq [选项]参数。其中常用选项包括以下几种。

• -c：进行计数；
• -d：仅显示重复行；
• -u：仅显示出现一次的行。

 六.tr工具

        tr命令常用来对来自标准输入的字符进行替换、压缩和删除。可以将一组字符替换之后变成另一组字符，经常用来编写优美的单行命令，作用很强大。

        tr具体的命令语法格式为：tr [选项] [参数]

其常用选项包括以下内容。

• -c：取代所有不属于第一字符集的字符；
• -d：删除所有属于第一字符集的字符；
• -s：把连续重复的字符以单独一个字符表示；
• -t：先删除第一字符集较第二字符集多出的字符。