自动化运维工程师必备的shell脚本知识（正则表达式、awk、sed、grep详解）

一、 正则表达式：
正则表达式（或称 Regular Expression，简称 RE）就是由普通字符（例如字符 a 到 z）以及特殊字符（称
为元字符）组成的文字模式。
该模式描述在查找文字主体时待匹配的一个或多个字符串。
正则表达式作为一个模板，将某个字符模式与所搜索的字符串进行匹配。简单的说，正则表示式就是处
理字符串的方法，它是以行为单位来进行字符串的处理行为， 正则表示式通过一些特殊符号的辅助，可以
让使用者轻易的达到搜寻/删除/取代某特定字符串的处理程序。vim、grep、find、awk、sed 等命令都支持
正则表达式。
常用正则表达式：
1、 . 代表 任意单个字符, 如：/l..e/与包含一个 l，后跟两个字符，然后跟一个 e 的行相匹配
2、^代表行的开始。 ^love 如：与所有 love 开头的行匹配
3、$代表行的结束。love$ 如：与所有 love 结尾的行匹配
那么‘^$’  就表示空行
4、[…]匹配括号中的字符之一
[abc] 匹配单个字符 a 或 b 或 c
[123] 匹配单个字符 1 或 2 或 3
[a-z] 匹配小写字母 a-z 之一
[a-zA-Z] 匹配任意英文字母之一
[0-9a-zA-Z]匹配任意英文字母或数字之一
注意：上面标红色的单个和之一，不管[ ]里面多复杂，它的结果都是 一个字符！
可以用^标记做[ ]内的前缀，表示除[ ]内的字符之外的字符。比如 搜索 oo 前没有 g 的字符串的行. 应用
'[^g]oo' 作搜索字符串，^符号如果出现在[ ]的起始位置表示否定，但是在[ ]的其他位置是普通字符。
[^ab^c] 匹配不是 a，b，^，c 的任意单个字符
5、* 用于 修饰 前导字符，表示前导字符出现 0 次或任意多次
如：'a*grep'匹配所有 0 个或多个 a 后紧跟 grep 的行。“.*”表示任意字符串
6、\? 用于 修饰 前导字符，表示前导字符出现 0 或 1 次
a\? 匹配 0 或 1 个 a
7、\+ 用于 修饰 前导字符，表示前导字符出现 1 或多次
a\+ 匹配 1 或多个 a
8、\{n,m\} 用于 修饰 前导字符，表示前导字符出现 n 至 m 次 （n 和 m 都是整数，且 n<m）
a\{3,5\} 匹配 3 至 5 个连续的 a
\{n,m\}还有其他几种形式：
\{n\} 连续的 n 个前导字符
\{n,\} 连续的至少 n 个前导字符
9、\ 用于转义紧跟其后的单个 特殊字符 ，使该特殊字符成为普通字符
如：^\.[0-9][0-9] 对以一个句点和两个数字开始
例如：
a* 匹配连续的任意（也包括 0）个 a
a\? 匹配 0 或 1 个 字符串
a\+ 匹配 1 或多个 字符串
a\{3,5\} 匹配 3 至 5 个连续的 字符串
\.* 匹配 0 或多个连续的. \.表示普通字符句点
10、 、｜表示或 如： a|b|c  匹配 a 或 或 b 或 或 c 。如：grep|sed  匹配 grep 或 或 sed
11、 、（），将部分内容合成一个单位组，比如 要搜索 glad 或 good 可以如下 'g(la|oo)d'
综合举例1：
1 Christian Scott lives here and will put on a Christmas party.
2 There are around 30 to 35 people invited.
3 They are:
4 Tom
5 Dan
6 Rhonda Savage
7 Nicky and Kimerly.
8 Steve, Suzanne, Ginger and Larry.
^ ^[A-Z]..$
搜索行以A至Z的一个字母开头，然后跟两个任意字母，然后跟一个换行符的行。将找到第5行。
^ ^[A-Z][a-z]*3[0-5]
搜索以一个大写字母开头，后跟0个或多个小写字母，再跟数字3，再跟0—5之间的一个数字。无法找到匹
配行(改成^[A-Z][a-z]*.*3[0-5]可找到第2行)
^ ^ *[A-Z][a-z][a-z]$
搜索以0个或多个空格开头，跟一个大写字母，两个小写字母和一个换行符。将找到第4行的TOM（整行匹配）
和第5行。注意，*前面有一个空格。
^ ^[A-Za-z]*[^,][A-Za-z]*$
将查找以 0 个或多个大写或小写字母开头，不跟逗号，然后跟 0 个或多个大写或小写字母，然后跟一个换
行符。将找到第 5 行。
综合举例2：
# # ls - - l / / bin | grep '^...s'
上面的命令是用来查找suid文件的；
# # ls - -l l R /usr | grep '^...s..s'
上面的命令是用来查找 suid 和 guid 的。
二、grep  命令的用法
grep （global search regular expression(RE) and print out the line,全面搜索正则表达式并把行打印出来）是一
种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来.
参数：
1. -A NUM，--after-context=NUM 除了列出符合行之外，并且列出后 NUM 行。
如: $ grep –A 1 panda file (从 file 中搜寻有 panda 样式的行，并显示该行的后 1 行)
2. -B NUM，--before-context=NUM 与 -A NUM 相对，但这此参数是显示除符合行之外并显示在它之前的
NUM 行。如: (从 file 中搜寻有 panda 样式的行，并显示该行的前 1 行)
$ grep -B 1 panda file
3、 -C [NUM], -NUM, --context[=NUM] 列出符合行之外并列出上下各 NUM 行。默认值为 2
如: (列出 file 中除包含 panda 样式的行外并列出其上下 2 行)(若要改变默认值，直接改变 NUM 即可)
$ grep -C[NUM] panda file
4、 -c, --count 不显示符合样式行，只显示符合的总行数。若再加上-v,--invert-match，参数显示不符合的
总行数
5、-i，--ignore-case 忽略大小写差别
6、-n，--line-number 在匹配的行前面打印行号
7、-v，--revert-match 反检索，只显示不匹配的行
8、精确匹配：\<字符串\>
例如在抽取字符串“ 48”，返回结果包含诸如 484 和 483 等包含“48”的其他字符串，实际上应精确
抽取只包含 48 的各行。
使用 grep 抽取精确匹配的一种有效方式是在抽取字符串后加\>。假定现在精确抽取 48，
方法如下：
#grep '48\>' filename
9、-s 不显示不存在或无匹配文本的错误信息
如：执行命令 grep "root" /etc/password，因为 password 文件不存在，所以在屏幕上输出错误信息，若
使用 grep 命令-s 开关，可屏蔽错误信息
要用好 grep 这个工具，其实就是要写好正则表达式，所以这里不对 grep 的所有功能进行实例讲解，只列几
个例子，讲解一个正则表达式的写法。
$ ls -l | grep '^d'
通过管道过滤 ls -l 输出的内容，只显示以 d 开头的行。<