Shell编程之正则表达式与文本处理器

目录

正则表达式

概念

标准正则表达式

grep

开头和结尾过滤（^、$）

通配符

过滤数字

过滤连续字符

扩展正则表达式

sed

过滤

编辑

迁移

修改内容

awk

awk常见选项

soft

uniq

tr

---

正则表达式

概念

正则表达式（Regular Expression，常简写为regex、regexp或RE）是一种强大的文本处理工具，它使用一种特殊的字符序列来帮助用户检查一个字符串是否与某种模式匹配。

标准正则表达式

首先安装正则表达式pcre库

创建一个用于测试的文件

内容如下

he was short and fat. he was weating a blue polo shirt with black pants. The home of Football on BBC Sport online. the tongue is boneless but it breaks bones.12! google is the best tools for search keyword. PI=3.14 a wood cross! Actions speak louder than words #woood # #woooooooood # AxyzxyzxyzxyzC I bet this place is really spooky late at night! Misfortunes never come alone/single. I shouldn't have lett so tast.

grep

通过grep命令来精确查找该文件带有the的行，-n选项：显示行号

加上-i选项，不区分大小写

在文件中查找包含"short"或者"shirt"的行，并显示它们的行号

开头和结尾过滤（^、$）

查找该文件中前一个字符不是w并以oo结尾的行，并显示行号

^：取反

通过指定小写字母a-z和大写字母A-Z，筛选 不以大写或小写字母开头且包含oo的行

也可以去掉^符号，显示以大写或小写字母开头且包含oo的行

显示整行的开头是小写或大写字母 且后方跟着oo字符的行

过滤出任何字符结尾的行，在这里，. 被识别为通配符了，所以使用转义符来识别

在.前面加上转义符，过滤出只有以.结尾的行

显示空白行

或加上-v选项取反，显示除了空白行的所有行

如果要过滤一个配置文件的所有注释行，就通过^#来获取#开头的行，再添加-v取反，就实现显示#开头以外的行

再添加管道符 | 过滤空白行，就实现了过滤文件内注释和空白行的效果

通配符

因为.是通配符，匹配任何字符，所以通过w..d来匹配 以w开头d结尾 并且中间包含两个字符 的行

显示 以w开头跟着一个或多个任意字符且以d结尾单词的行

.* —— 匹配任意数量的任意字符

过滤数字

使用 [0-9] 筛选，显示包含单个都是0-9数字的行

使用 [0-9][0-9] 匹配两个连续为数字0-9的字符的行，下面这张图片中，第六行的3没有被匹配到，因为是单个字符

过滤连续字符

通过 字符\{数量\} 来过滤连续两个o出现的行，每个大括号前要使用转义符

过滤 以wo开头 字符o后连续2-5个o，且以d结尾的行

'wo\{最小值,最大值\}'

如果将最大值空着，只在最小值后跟上逗号，表示2个以上连续字符

这里表示 以wo开头 后面并连续2个以上o字符 且以d结尾

扩展正则表达式

使用 egrep 命令

可以在表达式内直接用管道符增加过滤条件

下方示例命令表示：过滤和显示 /etc/ssh/sshd_config 文件中非空行且不以 # 开头的行

sed

过滤、编辑

过滤

在这个命令中，-n 参数会禁止默认的打印行为，而 p（print） 命令会遍历打印与模式匹配的行。因此，整个命令其实等同于 cat test，它会打印出 test 文件的全部内容。

指定数字 实现遍历打印第几行内容

遍历打印输出奇数行

遍历输出偶数行

第1-10行的奇数行

第5行到结尾的偶数行

遍历打印输出包含the的行

以#开头的行和以P开头的行 遍历输出

以4结尾的行 和以.结尾的行（需要转义符转义）

删除空行并输出出来，这种编辑并不会影响文件本身的内容，只是把指定过滤的内容输出出来

删除小写字母a-z开头的行 遍历输出

删除第三行内容并遍历打印输出

显示行号并删除第三行内容 遍历打印输出

替换文本中的第一个匹配项，只将每行的第一个the 替换为TTT 后续的the不进行操作

替换每行的所有the为TTT

只替换每行的第2哥the为TTT

编辑

加上 -i 选项永久修改文件中每行第2个the为TTT

迁移

将test.txt文件中包含the的行存储在剪贴板中，再将剪贴板中的内容追加到末尾最后一行

将第1行到第5行的内容剪贴到剪贴板中，追加剪贴板内容到第10行之后

将指定内容插入到第一行

将指定内容追加到第一行之后

修改内容

如果要在脚本中修改指定文件内容就可以像下方命令一样通过 -i 替换

awk

通过grep筛选出Mem的行，再通过awk提取这一行的第7列

使用 -F 选项指定：为分隔符，输出第1列

使用print或print $0 输出整个文件的内容

输出第3行到第10行内容

使用逻辑运算符，来输出指定行内容

输出所有偶数行（行号 % 2 = 0）

输出所有奇数行（行号 % 3 = 1）

输出以sshd开头的行

输出/etc/passwd文件中以nologin结尾的行

awk常见选项

选项	说明
$0	表示整个当前行
$1	每行第一个字段
NF	字段数量变量
NR	每行的记录号，多文件记录递增
FNR	与NR类似，不过多文件记录不递增，每个文件都从1开始
\t	制表符
\n	换行符
FS	BEGIN时定义分隔符
RS	输入的记录分隔符， 默认为换行符(即文本是按一行一行输入)
~	匹配，与==相比不是精确比较
!~	不匹配，不精确比较
==	等于，必须全部相等，精确比较
!=	不等于，精确比较
&&	逻辑与
||	逻辑或
+	匹配时表示1个或1个以上
/[0-9][0-9]+/	两个或两个以上数字
/[0-9][0-9]*/	一个或一个以上数字
OFS	输出字段分隔符， 默认也是空格，可以改为制表符等
ORS	输出的记录分隔符，默认为换行符,即处理结果也是一行一行输出到屏幕
-F'[:#/]'	定义三个分隔符

soft

排序命令

以开头a-z排序内容

加上 -r 选项实现反向排序

uniq

去重命令

创建一个文件，编辑如下内容

使用uniq命令实现去重效果

-c：显示行号

-d：把重复的字符串输出S

tr

去重命令

通过 -s 选项，实现字符串去重

通过 -d 选项实现字符串删除指定字符

去重并且将大写字母转换为小写字母