Shell脚本---正则表达式

一、定义

• 正则表达式，又称规则表达式。在代码中常简写为（ regex、regexp 或 RE），通常被用来检索、替换那些符合某个模式(规则)的文本

• 正则表达式—通常用于判断语句中，用来检查某一字符串是否满足某一格式

正则表达式是由普通字符与元字符组成

1. 普通字符：包括大小写字母、数字、标点符号及一些其他符号
2. 元字符是指：在正则表达式中具有特殊意义的专用字符，可以用来规定其前导字符（即位于元字符前面的字符）
   在目标对象中的出现模式

LINUX 中常用的有两种正则表达式引擎

• 基础正则表达式：BRE
• 扩展正则表达式: ERE

二. 基础正则表达式常见元字符: (支持的 工具: grep、 egrep、 sed、awk)

元字符	含义
\	转义字符，用于取消特殊符号的含义，例: !、\n、$等
^	匹配字符串开始的位置,匹配行首，例: ^a、 ^the、 ^#、
$	匹配字符串结束的位置，匹配行尾, ^$匹配空行
.	匹配除\n之外的任意的一个字符，awk则中可以ab.匹配abc或bad.例: go.d、g…d
*	匹配前面 子表达式0次或者多次，例: goo*d、go.*d
[list]	匹配list列表中的一个字符，例: go[ola]d， [abc]、 [a-z]、 [a-z0-9]、 [0-9]匹配任意一位数字
[^list]	匹配任意非list列表中的一个字符，例: [0-9]、[A-Z0-9]、 [^a-z]匹配任意一位非小写字母
{n}	匹配前面的子表达式n次，例: go{2}d、 '[0-9]{2}'匹配两位数字
{n,}	匹配前面的子表达式不少于n次，例: go{2,}d、 '[0-9]{2,}'匹配两位及两位以上数字
{n,m}	匹配前面的子表达式n到m次，例: go{2,3}d、 '[0-9]{2,3}'匹配两位到三位数字

注: egrep、 awk使用{n}、{n,}、 {n, m}匹配时“{}"前不用加“\”

三、扩展正则表达式元字符

通常情况下会使用基础正则表达式就已经足够了，但有时为了简化整个指令，需要使用 范围更广的扩展正则表达式。例如，使用基础正则表达式查询除文件中空白行与行首为“#”

支持的工具：egerp、awk
常用元字符

+	匹配前面子表达式1次以上，例：go+d，将匹配至少一个o,如god, good, goood等
?	匹配前面子表达式0次或者1次，例: go?d,将匹配gd或god
()	将括号中的字符串作为一个整体,例：g(oo) +d,将匹配。整体1次以上,如good,gooood等
|	以或的方式匹配字条串，例：g(oo|la)d，将匹配good或者glad

+	egrep -n 'wo+d' test.txt     	     #查询"wood" "woood" 			"woooooood"等字符串
?	egrep -n 'bes?t' test.txt			 #查询“bet”“best”这两个字符串
|	egrep -n 'of|is|on' test.tx			 #查询"of"或者"if"或者"on"字符串
()	egrep -n 't(a|e)st' test.txt		 #查询"tast"或者"test"字符串
()+ egrep -n 'A(xyz)+C' test.txt		 #查询开头的"A"结尾是"C"，中间有一个以上的"xyz"字符串的意思

四、文件处理器（sort / uniq / tr）命令

1.sort命令

以行为单位对文件内容进行排序，也可以根据不同的数据类型来排序

语法格式

sort [选项] 参数
cat file | sort 选项

常用选项
-f: 忽略大小写，会将小写字母都转换为大写字母来进行比较
-b: 忽略每行前面的空格
-n: 按照数字进行排序
-r: 反向排序
-u: 等同于uniq，表示相同的数据仅显示一行
-t: 指定字段分隔符，默认使用[Tab]键分隔
-k: 指定排序字段
-o<输出文件>: 将排序后的结果转存至指定文件

sort -n testfile2 
sort -t ':' -k 3 -n /etc/passwd
du -a | sort -nr -o du.txt

2.uniq命令

用于报告或者忽略文件中连续的重复行，常与sort命令结合使用

语法格式
uniq [选项] 参数
cat file | uniq 选项

常用选项
-C:  进行计数，并删除文件中重复出现的行
-d:  仅显示连续的重复行
-U:  仅显示出现一次的行

uniq testfile3 
sort -n testfile3 | unig 

3.tr命令

常用来对来自标准输入的字符进行替换、压缩和删除

语法格式
tr [选项] [参数]

常用选项
-C: 保留字符集1的字符，其他的字符( 包括换行符\n)用字符集2替换
-d: 删除所有属于字符集1的字符
-s: 将重复出现的字符串压缩为一个字符串:用字符集2替换字符集1
-t: 字符集2替换字符集1，不加选项同结果

参数：

• 字符集1:指定要转换或删除的原字符集。当执行转换操作时，必须使用参数“字符集2”指定转换的目标字符集。但执行删除操作时，不需要参数“字符集2”
• 字符集2:指定要转换成的目标字符集

echo "abc" | tr 'a-z' 'A-Z'
echo -e "abc\ncabcdab" | tr -c "ab\n" "0"
echo -e " abc\ncabcdab"| tr -c "ab" "O"
echo 'hello world' | tr -d 'od'
echo "thissss is a text linnnnnnne." | tr -s 'sn'