Shell 编程之正则表达式 与文本处理器

正则表达式概述

1. 正则表达式的定义
   正则表达式又称正规表达式、常规表达式。在代码中常简写为 regex、regexp 或 RE。正则表达式是使用单个字符串来描述、匹配一系列符合某个句法规则的字符串，简单来说，是一种匹配字符串的方法，通过一些特殊符号，实现快速查找、删除、替换某个特定字符串。
2. 正则表达式用途
   对于一般计算机用户来说，由于使用到正则表达式的机会不多，所以无法体会正则表达
   式的魅力，而对于系统管理员来说，正则表达式则是必备技能之一。

元字符总结

^ 匹配输入字符串的开始位置。除非在方括号表达式中使用，表示不包含该字符集合。要匹配“^” 字符本身，请使用“^”

• $ 匹配输入字符串的结尾位置。如果设置了 RegExp 对象的 Multiline 属性，则“KaTeX parse error: Undefined control sequence: \n at position 6: ”也匹配‘\̲n̲’或‘\r’。要匹配“”字符本身，请使用“$”
• . 匹配除“\r\n”之外的任何单个字符
• \ 反斜杠，又叫转义字符，去除其后紧跟的元字符或通配符的特殊意义
• * 匹配前面的子表达式零次或多次。要匹配“*”字符，请使用“*”
• [] 字符集合。匹配所包含的任意一个字符。例如，“[abc]”可以匹配“plain”中的“a”
• [^] 赋值字符集合。匹配未包含的一个任意字符。例如，"[^abc]"可以匹配“plain”中任何一个字母
• [n1-n2] 字符范围。匹配指定范围内的任意一个字符。例如，“[a-z]”可以匹配“a”到“z”范围内的任意一个小写字母字符。
  注意：只有连字符（-）在字符组内部，并且出现在两个字符之间时，才能表示字符的范围；如果出现在字符组的开头，则只能表示连字符本身
• {n} n 是一个非负整数，匹配确定的 n 次。例如，“o{2}”不能匹配“Bob”中的“o”，但是能匹配“food”中的“oo”
• {n,} n 是一个非负整数，至少匹配 n 次。例如，“o{2,}”不能匹配“Bob”中的“o”，但能匹配“foooood”中的所有 o。“o{1,}”等价于“o+”。“o{0,}”则等价于“o*”
• {n,m} m 和 n 均为非负整数，其中 n<=m，最少匹配 n 次且最多匹配 m 次

扩展正则表达式

与基础正则表达式类型相同，扩展正则表达式也包含多个元字符，常见的扩展正则表达式的元字符主要包括以下几个

• + 作用：重复一个或者一个以上的前一个字符
  示例：执行“egrep -n ‘wo+d’ test.txt”命令，即可查询"wood" “woood” "woooooood"等字符串
• ？ 作用：零个或者一个的前一个字符示例：
  执行“egrep -n ‘bes?t’ test.txt”命令，即可查询“bet”“best”这两个字符串
• | 作用：使用或者（or）的方式找出多个字符
  示例：执行“egrep -n ‘of|is|on’ test.txt”命令即可查询"of"或者"if"或者"on"字符串
• () 作用：查找“组”字符串
  示例：“egrep -n ‘t(a|e)st’ test.txt”。“tast”与“test”因为这两个单词的“t”与“st”是重复的，所以将“a”与“e” 列于“()”符号当中，并以“|”分隔，即可查询"tast"或者"test"字符串
• ()+ 作用：辨别多个重复的组
  示例：“egrep -n ‘A(xyz)+C’ test.txt”。该命令是查询开头的"A"结尾是"C"，中间有一个以上的"xyz"字符串的意思

sed 工具

sed（Stream EDitor）是一个强大而简单的文本解析转换工具，可以读取文本，并根据指定的条件对文本内容进行编辑（删除、替换、添加、移动等），最后输出所有行或者仅输出处理的某些行
sed 的工作流程主要包括读取、执行和显示三个过程。

• 读取：sed 从输入流（文件、管道、标准输入）中读取一行内容并存储到临时的缓冲区中（又称模式空间，pattern space）。
• 执行：默认情况下，所有的 sed 命令都在模式空间中顺序地执行，除非指定了行的地址，否则 sed 命令将会在所有的行上依次执行。
• 显示：发送修改后的内容到输出流。在发送数据后，模式空间将会被清空。

1. sed 命令常见用法

通常情况下调用 sed 命令有两种格式，如下所示。其中，“参数”是指操作的目标文件，当存在多个操作对象时用，文件之间用逗号“，”分隔；而 scriptfile 表示脚本文件，需要用“-f” 选项指定，当脚本文件出现在目标文件之前时，表示通过指定的脚本文件来处理输入的目标文件。

sed [选项] '操作' 参数
sed [选项] -f scriptfile 参数

常见的 sed 命令选项主要包含以下几种。

• -e 或–expression=：表示用指定命令或者脚本来处理输入的文本文件。
• -f 或–file=：表示用指定的脚本文件来处理输入的文本文件。
• -h 或–help：显示帮助。
• -n、–quiet 或 silent：表示仅显示处理后的结果。
• -i：直接编辑文本文件
• a：增加，在当前行下面增加一行指定内容。
• c：替换，将选定行替换为指定内容。
• d：删除，删除选定的行。
• i：插入，在选定行上面插入一行指定内容。
• p：打印，如果同时指定行，表示打印指定行；如果不指定行，则表示打印所有内容；如果有非打印字符，则以 ASCII 码输出。其通常与“-n”选项一起使用。
• s：替换，替换指定字符。
• y：字符转换。

2. 迁移符合条件的文本

• H:复制到剪贴板；
• g、G:将剪贴板中的数据覆盖/追加至指定行；
• w：保存为文件；
• r：读取指定文件；
• a：追加指定内容

awk 工具

1. awk 常见用法
   通常情况下 awk 所使用的命令格式如下所示，其中，单引号加上大括号“{}”用于设置对数据进行的处理动作。awk 可以直接处理目标文件，也可以通过“-f”读取脚本对目标文件进行处理。

awk 选项 '模式或条件 {编辑指令}' 文件 1 文件 2 … //过滤并输出文件中符合条件的内容
awk -f 脚本文件 文件 1 文件 2 … //从脚本中调用编辑指令,过滤并输出内容

awk 包含几个特殊的内建变量（可直接用）如下所示：

• FS：指定每行文本的字段分隔符，默认为空格或制表位。
• NF：当前处理的行的字段个数。
• NR：当前处理的行的行号（序数）。
• $0：当前处理的行的整行内容。
• $n：当前处理行的第 n 个字段（第 n 列）。
• FILENAME：被处理的文件名。
• RS：数据记录分隔，默认为\n，即每行为一条记录

sort 工具

在 Linux 系统中，常用的文件排序工具有三种：sort、uniq、wc 。本章将介绍前两种工具的用法

• f：忽略大小写；
• -b：忽略每行前面的空格；
• -M：按照月份进行排序；
• -n：按照数字进行排序；
• -r：反向排序；
• -u：等同于 uniq，表示相同的数据仅显示一行；
• -t：指定分隔符，默认使用[Tab]键分隔；
• -o <输出文件>：将排序后的结果转存至指定文件；
• -k：指定排序区域。

uniq 工具

Uniq 工具在 Linux 系统中通常与 sort 命令结合使用，用于报告或者忽略文件中的重复行。具体的命令语法格式为：uniq [选项] 参数。其中常用选项包括以下几种。

• -c：进行计数；
• -d：仅显示重复行；
• -u：仅显示出现一次的行。

tr 工具

tr 命令常用来对来自标准输入的字符进行替换、压缩和删除。可以将一组字符替换之后变成另一组字符，经常用来编写优美的单行命令，作用很强大。
tr 具体的命令语法格式为

tr [选项] [参数]

其常用选项包括以下内容。

• -c：取代所有不属于第一字符集的字符；
• -d：删除所有属于第一字符集的字符；
• -s：把连续重复的字符以单独一个字符表示；
• -t：先删除第一字符集较第二字符集多出的字符