Linux Shell脚本之正则表达式

一、常见的管道命令

sort命令

sort命令可针对文本文件的内容，以行为单位来排序

格式：sort [选项] 参数

常用选项

选项 说明
-f 忽略大小写，会将小写字母都转换为大写字母来进行比较
-b 忽略每行前面的空格
-n 按照数字进行排序
-r 反向排序
-u 等同于uniq，表示相同的数据仅显示一行
-t 指定字段分隔符，默认使用[Tab]键分隔
-k 指定排序字段
-o <输出文件> 将排序后的结果转存至指定文件

uniq命令

uniq 命令用于检查及删除文本文件中重复出现的行列，一般与 sort 命令结合使用

格式：uniq [选项] 参数

常用选项

选项 说明
-c 进行计数，并删除文件中重复出现的行
-d 仅显示连续的重复行
-u 仅显示出现一次的行

tr命令

常用来对来自标准输入的字符进行替换、压缩和删除

格式：tr [选项] [参数]

常用选项

选项 说明
-c 保留字符集1的字符，其他的字符用（包括换行符\n）字符集2替换
-d 删除所有属于字符集1的字符
-s 将重复出现的字符串压缩为一个字符串；用字符集2 替换 字符集1
-t 字符集2 替换 字符集1，不加选项同结果

常用参数

参数 说明

字符集1：指定要转换或删除的原字符集。当执行转换操作时，必须使用参数“字符集2”指定转换的目标字符集。但执行删除操作时，不需要参数“字符集2”

字符集2：指定要转换成的目标

cut命令

显示行中的指定部分，删除文件中指定字段

格式：cut [选项] 参数

常用选项

选项 说明
-f 通过指定哪一个字段进行提取。cut命令使用“TAB”作为默认的字段分割符
-d “TAB”是默认的分隔符，使用此选项可更改为其他的分隔符

• -complement 用于排除所指定的字段
• -output-delimiter 更改输出内容的分隔符

例：统计当前连接主机数

二、正则表达式

正则表达式的定义
正则表达式，又称正规表达式、常规表达式

使用字符串来描述、匹配一系列符合某个规则的字符串

正则表达式组成
普通字符包括大小写字母、数字、标点符号及一些其他符号

元字符是指在正则表达式中具有特殊意义的专用字符

常见元字符

支持的工具：find、grep、egrep、sed和awk

匹配符 表示含义

.                                    表示任意一个字符
[ ]                                  匹配括号中的一个字符
[^ ]                                表示否定括号中出现字符类中的字符,取反
\转义字符                              用于取消特殊符号的含义
^                                    匹配字符串开始的位置
$                                    匹配字符串结束的位置
{n}                                  匹配前面的子表达式n=次
{n,}                                 匹配前面的子表达式不少于n次
{n,m}                                匹配前面的子表达式n到m次
[:alnum:]                            匹配任意字母和数字
[:alpha:]                            匹配任意字母，大写或小写
[:lower:]                            小写字符a-z
[:upper:]                            大写字符A-Z
[:blank:]                            空格和TAB字符
[:space:]                            所有空白字符( 新行、空格、制表符)
[:digit:]                               数字 0-9
[:xdigit:]                            16 进制数字
[:cntrl:]                               控制字符

例：表示一个任意字符

例：[ ] 匹配括号中的一个字符



例：[^] 表示否定括号出现字符类中的字符，取反

例：[:alnum:] 匹配任意字母和数字

一定要在外面再套一个[ ]

例：元字符 （.）

三、扩展正则表达式

支持的工具：egrep、awk 或 grep -E 和 sed -r

限定符 说明

*                                         匹配前面子表达式0次或者多次
.*                                        任意长度的任意字符
？                                       匹配前面子表达式0次或者1次，即：可有可无
+                                        与星号相似，表示其前面字符出现一次或多次，但必须出现一次,>=1
{n,m}                                  匹配前面的子表达式n到m次
{m}                                     匹配前面的子表达式n次
{n,}                                     匹配前面的子表达式不少于n次 >=n
{，n}                                   匹配前面的子表达式最多n次，<=n
|                                          用逻辑OR（或）方式指定正则表达式要是用的模式
（）                                    字符串分组，将括号中的字符串作为一个整体

例：* 匹配前面子表达式 0 次或者多次

例：{n，m} 匹配前面的子表达式 n 到 m 次

例：{n，} 匹配前面的子表达式不少于n次>=n

例：{，n} 匹配前面的子表达式最多n次，<=n

例：* 任意长度的任意字符

例：？ 匹配前面表达式0次或者1次，即：可有可无

例：+ 与星号相似，表示其前面字符出现一次或多次，但必须出现一次， >=1

例：| 逻辑 or （或）方式指定正则表达式要是用的模式

例：（）字符串分组，将括号中的字符串作为一个整体

例：提取IP地址

法一：

法二：

位置锚定
位置限定符 说明

^                               行首锚定，用于模式的最左侧
$                               行尾锚定，用于模式的最右侧
^PATTERN^              用于模式匹配整行
^$                              空行
^[[:space:]]*$             空白行
\< 或 \b                      词首锚定，用于单词模式的左侧（连续的数字，字母下划线都算）
\>或 \b                       词尾锚定，用于单词的右侧
\<PATTERN\>            匹配整个单词

例：行尾锚定，用于模式的最右测

例：行首锚定，用于模式的最左侧

例：用于模式匹配整行，匹配的内容单独在一行

例：< 只匹配右侧的单词

例：> 只匹配左侧的单词

例：过滤出不是以#开头的非空行