Shell 编程之正则表达式与文本处理器

正则表达式

正则表达式又称正规表达式、常规表达式

正则表达式是由普通字符与元字符组成的文字模式

正则表达式一般用于脚本编程与文本编辑器中

元字符总结

^    匹配输入字符串的开始位置。除非在方括号表达式中使用，表示不包含该字符集合。要匹配“^”

字符本身，请使用 “\^”

$   匹配输入字符串的结尾位置。如果设置了 RegExp 对象的 Multiline 属性，则 “$” 也匹配 ‘\n’ 或 ‘\r’. 要匹配“$” 字符本身，请使用 “\$”

.   匹配除“\r\n” 之外的任何单个字符

\ 反斜杠，又叫转义字符，去除其后紧跟的元字符或通配符的特殊意义

* 匹配前面的子表达式零次或多次。要匹配“*” 字符，请使用 “\*”

[] 字符集合。匹配所包含的任意一个字符。例如，“[abc]” 可以匹配 “plain” 中的 “a”

[^] 赋值字符集合。匹配未包含的一个任意字符。例如，“[^abc]” 可以匹配 “plain” 中任何一个字母

[n1-n2] 字符范围。匹配指定范围内的任意一个字符。例如，“[a-z]” 可以匹配 “a” 到 “z” 范围内的任一个 小写字母字符。

注意：只有连字符（ - ）在字符组内部，并且出现在两个字符之间时，才能表示字符的范围；如

果出现在字符组的开头，则只能表示连字符本身

{n} n 是一个非负整数，匹配确定的 n 次。例如， “o{2}” 不能匹配 “Bob” 中的 “o” ，但是能匹配 “food”

中 的“oo”

{n,} n 是一个非负整数，至少匹配 n 次。例如， “o{2,}” 不能匹配 “Bob” 中的 “o” ，但能匹配 “foooood” 中的所有 o 。 “o{1,}” 等价于 “o+” 。 “o{0,}” 则等价于 “o*”

{n,m} m 和 n 均为非负整数，其中 n<=m ，最少匹配 n 次且最多匹配 m 次

扩展正则表达式

+  作用：重复一个或者一个以上的前一个字符

？ 作用：零个或者一个的前一个字符

| 作用：使用或者（or ）的方式找出多个字符

() 作用：查找“ 组 ” 字符串

()+ 作用：辨别多个重复的组

文本处理器

sed 工具

读取： sed 从输入流（文件、管道、标准输入）中读取一行内容并存储到临时的缓

冲区中（又称模式空间， pattern space ）。

执行：默认情况下，所有的 sed 命令都在模式空间中顺序地执行，除非指定了行

的地址，否则 sed 命令将会在所有的行上依次执行。

显示：发送修改后的内容到输出流。在发送数据后，模式空间将会被清空。

sed 命令常见用法

-e 或 --expression= ：表示用指定命令或者脚本来处理输入的文本文件。

  -f 或 --file= ：表示用指定的脚本文件来处理输入的文本文件。

-h 或 --help ：显示帮助。

  -n 、 --quiet 或 silent ：表示仅显示处理后的结果。

  -i ：直接编辑文本文件。“操作 ” 用于指定对文件操作的动作行为，也就是 sed 的命令

a ：增加，在当前行下面增加一行指定内容。

c ：替换，将选定行替换为指定内容。

  d ：删除，删除选定的行。

  i ：插入，在选定行上面插入一行指定内容。

  p ：打印，如果同时指定行，表示打印指定行；如果不指定行，则表示打印所有内容；如果有非打印字符，则以 ASCII 码输出。其通常与 “-n” 选项一起使用。

  s ：替换，替换指定字符。

  y ：字符转换

awk 工具

awk 常见用法

awk 选项 ' 模式或条件 { 编辑指令 }' 文件 1 文件 2 … //过滤并输出文件中符合条件的内容

awk -f 脚本文件 文件 1 文件 2 … //从脚本中调用编辑指令 ,过滤并输出内容

awk 包含几个特殊的内建变量（可直接用）

FS ：指定每行文本的字段分隔符，默认为空格或制表位。

NF ：当前处理的行的字段个数。

  NR ：当前处理的行的行号（序数）。

  $0 ：当前处理的行的整行内容。

  $n ：当前处理行的第 n 个字段（第 n 列）。

  FILENAME ：被处理的文件名。

RS ：数据记录分隔，默认为 \n ，即每行为一条记录。

sort 工具

sort 是一个以行为单位对文件内容进行排序的工具，也可以根据不同的数据类型来排序

-f ：忽略大小写；

  -b ：忽略每行前面的空格；

  -M ：按照月份进行排序；

  -n ：按照数字进行排序；

  -r ：反向排序；

-u ：等同于 uniq ，表示相同的数据仅显示一行；

  -t ：指定分隔符，默认使用 [Tab] 键分隔；

 -o < 输出文件 > ：将排序后的结果转存至指定文件；

  -k ：指定排序区域。

uniq 工具

-c：进行计数；

-d ：仅显示重复行；

  -u ：仅显示出现一次的行。

tr 工具

-c ：取代所有不属于第一字符集的字符；

  -d ：删除所有属于第一字符集的字符；

  -s ：把连续重复的字符以单独一个字符表示；

  -t ：先删除第一字符集较第二字符集多出的字符。