正则表达式与文本处理器

引言

正则表达式，又称规则表达式。（英语：Regular Expression，在代码中常简写为regex、regexp或RE），计算机科学的一个概念。正则表达式通常被用来检索、替换那些符合某个模式(规则)的文本。

一、正则表达式

1.正则表达式的定义

• 正则表达式，又称正规表达式、常规表达式

• 使用字符串来描述、匹配一系列符合某个规则的字符串

• 正则表达式组成

普通字符——大小写字母、数字、标点符号及一些其他符号
元字符——在正则表达式中具有特殊意义的专用字符

2.基础正则表达式元字符

• 基础正则表达式是常用的正则表达式部分
• 除了普通字符外，常见到以下元字符

字符	含义
\	转义字符，!、\n等
^	匹配字符串开始的位置，列：^a ^the ^#
$	匹配字符串结束的位置，列：word$
.	匹配除\n之外的任意的一个字符，列：go.d、g…d
*	匹配前面子表达式0次或者无数次，；列：goo*d、go.*d
[list]	匹配list列表中的一个字符，列：go[ola]d、[abc]、[a-z]、[a-z0-9]
[^list]	匹配任意不在list列表中的一个字符，列：[ ^a-z]、[ ^0-9]、[ ^A-Z0-9]
{n,m}	匹配前面的子表达式n到m次，有{n}、{n}、{n,m}三种格式，列：go{2}d、go{2}

3.扩展正则表达式元字符

• 扩展正则表达式是对基础正则表达式的扩充深化
• 扩展元字符

字符	含义
+	匹配前面子表达式1次以上，列：go+d，将匹配至少一个o
?	匹配前面子表达式0次或者1次，列：go？d，将匹配gd或god
()	将括号中的字符串作为一个整体，列：(xyz)+,将匹配xyz整体1次以上，如xyzxyz
l	以或的方式匹配字条串，列1：good l food ，将匹配good或者food；列2：g(oo l la)d,将匹配good或者glad

定位符

^ 匹配输入字符串开始的位置

$匹配输入字符串结尾的位置

非打印字符

\n匹配一个换行符

\r匹配一个回车符

\t匹配一个制表符

二、grep命令

grep命令使用正则表达式来搜索文本，并且把匹配的文本打印出来

格式：grep [options] pattern [file]
 
option表示选项，pattern表示匹配的模式。file表示一系列文件名。
 
常用选项：
 
-c  只打印匹配的文本行的次数，不显示文本内容。
 
-i   匹配时忽略字母大小写
 
-h  当搜索多个文件，不显示匹配文件名前缀。
 
-l   只列出含义匹配的文本行的文件的文件名，不显示其具体匹配的内容。
 
-n  列出所有匹配的文本行，并显示行号
 
-s   不显示关于不存在或无法读取文件的错误信息
 
-v   只显示不匹配的文本行，反向选择，显示与搜索字符串不相符的行。
 
-w  匹配整个单词
 
-x   匹配整个文本行
 
-r   递归搜索，不仅搜索当前目录，还有各级子目录
 
-E   开启扩展（extend）的正则表达式
 
--color=auto 可以将找到的关键词部分加上颜色的显示

案例

统计root字符总行数

不区分大小写查找the所有的行

将/etc/passwd，将没有出现root 的行取出来

过滤出ip

三、元字符操作案例

1.查找特定字符

查找特定字符非常简单，如执行以下命令即可从 test.txt 文件中查找出特定字符“the”所在位置。其中“-n”表示显示行号、“-i”表示不区分大小写。命令执行后，符合匹配标准的字符， 字体颜色会变为红色。

2.利用中括号“[]”来查找集合字符

想要查找“shirt”与“short”这两个字符串时，可以发现这两个字符串均包含“sh”与“rt”。此时执行以下命令即可同时查找到“shirt”与“short”这两个字符串，其中“[]”中无论有几个字符， 都仅代表一个字符，也就是说“[io]”表示匹配“i”或者“o”。

若查找“oo”前面不是“w”的字符串，只需要通过集合字符的反向选择“[^]”来实现该目的。例如执行“grep -n‘[^w]oo’test.txt”命令表示在 test.txt 文本中查找“oo”前面不是“w”的字符串。


在上述命令的执行结果中发现“woood”与“wooooood”也符合匹配规则，二者均包含“w”。其实通过执行结果就可以看出，符合匹配标准的字符加粗显示，而上述结果中可以得知， “#woood #”中加粗显示的是“ooo”，而“oo”前面的“o”是符合匹配规则的。同理“#woooooood #”也符合匹配规则。

若不希望“oo”前面存在小写字母，可以使用“grep -n‘[^a-z]oo’test.txt”命令实现，其中“a-z”表示小写字母，大写字母则通过“A-Z”表示。

3.查找行首“^”与行尾字符“$”

基础正则表达式包含两个定位元字符：“^”（行首）与“$”（行尾）。在上面的示例中， 查询“the”字符串时出现了很多包含“the”的行，如果想要查询以“the”字符串为行首的行，则可以通过“^” 元字符来实现。

查询以小写字母开头的行可以通过“^【a-z】 ”规则来过滤，查询大写字母开头的行则使用“^{[A-Z]”规则，若查询不以字母开头的行则使用“}[^a-zA-Z]”规则。

“^”符号在元字符集合“[]”符号内外的作用是不一样的，在“[]”符号内表示反向选择，在“[]” 符号外则代表定位行首。反之，若想查找以某一特定字符结尾的行则可以使用“$”定位符。例如，执行以下命令即可实现查询以小数点（.）结尾的行。因为小数点（.）在正则表达式中也是一个元字符，所以在这里需要用转义字符“\”将具有特殊意义的字符转化成普通字符。

4.查找任意一个字符“.”与重复字符“*”

在正则表达式中小数点（.）也是一个元字符，代表任意一个字符。例如执行以下命令就可以查找“w??d”的字符串，即共有四个字符，以 w 开头 d 结尾。


“wood”字符串“w…d”匹配规则。若想要查询 oo、ooo、ooooo 等资料， 则需要使用星号（）元字符。但需要注意的是，“”代表的是重复零个或多个前面的单字符。 “o*”表示拥有零个（即为空字符）或大于等于一个“o”的字符，因为允许空字符，所以执行“grep -n ‘o*’ test.txt”命令会将文本中所有的内容都输出打印。如果是“oo*”，则第一个 o 必须存在， 第二个 o 则是零个或多个 o，所以凡是包含 o、oo、ooo、ooo，等的资料都符合标准。同理，若查询包含至少两个 o 以上的字符串，则执行“grep -n ‘ooo*’ test.txt”命令即可。

5.查找连续字符范围“{}”

（1）查询以 w 开头以 d 结尾，中间包含 2～5 个 o 的字符串

（2）查询两个 o 的字符

（3）查询以 w 开头以 d 结尾，中间包含 2 个或 2 个以上 o 的字符串

四、cut、sort、uniq、tr

1.cut：列截取工具

使用说明:cut 命令从文件的每一行剪切字节、字符和字段并将这些字节、字符和字段写至标准输出。如果不指定 File 参数，cut 命令将读取标准输入。必须指定 -b、-c 或 -f 标志之一

选项	含义
-b	按字节截取
-c	按字符截取，常用于中文
-d	指定以什么为分隔符截取，默认为制表符
-f	通常和-d一起

cut只擅长于处理单个字符为间隔的文本，-b只能分割字母，-c既可以分割字母也可以分割中文

（1）分割打印passwd第一列

（2）分割打印passwd第三列

（3）分割打印passwd第一列和第三列

（4）分割打印passwd第一列到第三列

（5）查看当前登录用户的第三个字节

2.sort：排序工具

• sort 是一个以行为单位对文件内容进行排序的工具，也可以根据不同的数据类型来排序。例如数据和字符的排序就不一样

sort [选项] 参数

常用选项	含义
-t	指定分隔符，默认使用[Tab]吧 键或空格分隔
-k	指定排序区域，哪个区间排序
-n	按照数字进行排序，默认是以文字形式排序
-u	等同于 uniq，表示相同的数据仅显示一行，注意：如果行尾有空格去重就不成功
-r	反向排序，默认是升序，-r就是降序
-o	将排序后的结果转存至指定文件
-f	忽略大小写，会将小写的字母都转换为大写字母来进行比较
-b	忽略每行前面的空格

（1）不加任何选项默认按第一列升序，字母的话就是从a到z由上而下显示

（2）以冒号为分隔符，以数字大小对第三列排序（升序）

（3）以冒号为分隔符，以数字大小对第三列排序（降序）

（4）将输结果不在屏幕上输出而是输出到passwd.bak文件

（5）去掉文件中重复的行（重复的行可以是不连续的）

3.uniq：去重工具

• 主要用于去除连续的重复行
• 注意：是连续的行，所以通常和sort结合使用先排序使之变成连续的行再执行去重操作，否则不连续的重复行他不能去重

uniq [选项] 参数
 
-c：对重复的行进行计数；
 
-d：仅显示重复行；
 
-u：仅显示出现一次的行

（1）统计重复行的次数，不连续的重复行他不算做重复行

（2）结合sort去重

（3）查看用户登录的数据

4.tr：修改工具

它可以用一个字符来替换另一个字符，或者可以完全除去一些字符，也可以用它来除去重复字符

用法：tr [选项]… SET1 [SET2]
 
从标准输入中替换、缩减和/或删除字符，并将结果写到标准输出。
 
常用选项
 
-d 删除字符
 
-s 删除所有重复出现的字符，只保留第一个

替换字符

删除字符

五、总结

正则表达式通常用于判断语句，用于检测某一字符串是否满足单一格式，详细说明了sort、uniq、tr的运用。