shell脚本三剑客,grep、awk、sed基础解析实操

一：正则表达式的概念及特点

正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，
这个“规则字符串”用来表达对字符串的一种过滤逻辑。规定一些特殊语法表示字符类、数量限定符和位置关系,然后用这些特殊语法和普
通字符一起表示一个模式,这就是正则表达式(Regular Expression)。
给定一个正则表达式和另一个字符串，我们可以达到如下的目的：

1. 给定的字符串是否符合正则表达式的过滤逻辑（称作“匹配”）；
2. 可以通过正则表达式，从字符串中获取我们想要的特定部分。

1.1、grep命令

-n ：表示显示行号
-i ：表示不区分大小写
-v ： 表示反方向查找

grep -n 'the' abc.txt  //查找有the的行，并显示出行号
grep -in ‘the’ abc.txt  //不区分大小写查找有the的行，并显示行号

如果是想查找不包含the的行，-vn选项即可：

[root@localhost ~]# grep -vn 'the' /etc/passwd
1:root:x:0:0:root:/root:/bin/bash
2:bin:x:1:1:bin:/bin:/sbin/nologin
3:daemon:x:2:2:daemon:/sbin:/sbin/nologin
...省略内容

中括号 [ ] 集合字符
当我们需要查找两个字符 “shirt” 和 “short” 这两个字符时，其中 i 和 o 都是相同的.
可以用 [ ]来匹配字符，[ ] 中不论有几个字符，都仅代表一个字符

[root@localhost ~]# grep -n 'sh[io]rt' /etc/passwd

查找包含重复单个字符“oo”

[root@localhost ~]# grep -n 'oo' /etc/passwd

集合字符的反向选择可以通过“[^]”实现

在 /etc/passwd文本中查找“oo” 前面不是“w”的字符串

[root@localhost ~]# grep -n '[^w]oo' /etc/passwd

行首符“^”与行尾字符“$

查找以the这个字符串开头的行

[root@localhost ~]# grep -n '^the' abc. txt

查找以小写字母开头的行

[root@localhost ~]# grep -n '^[a-z]' abc.txt  

查找以不是字母开头的行

[root@localhost ~]# grep -n '^[^a-zA-Z]' abc.txt

查询以点（.）结尾的行

[root@localhost ~]# grep -n '\.$' /etc/passwd
    // 这里的.不作为元字符使用，可加上转义符 \

任意一个字符“.”与重复字符“*”
在正则表达式中小数点（.）也是一个元字符，代表任意一个字符
*代表的是重复零个或多个前面的单字符
查找以 w 开头 d 结尾,共有四个字符的字符串

[root@localhost ~]# grep -n 'w..d' /etc/passwd

要查询 wood、woood、woooood 等资料，则需要使用星号（*）元字符

[root@localhost ~]# grep –n 'o*' /etc/passwd 'o的数量是0到多个'

查询包含至少两个 o 以上的字符串

[root@localhost ~]# grep –n'ooo*' /etc/passwd  'o的数量是2到多个'

查询以 w 开头 d 结尾，中间的字符可有可无的字符串

[root@localhost ~]# grep –n'w.*d' /etc/passwd

连续字符范围“{}”
因为“{}”在 Shell 中具有特殊 意义，所以在使用“{}”字符时，需要利用转义字符“\”，将“{}”字符转换成普通字符
查询两个 o 的字符

[root@localhost ~]# grep -n 'o\{2\}' /etc/passwd '2表示两个o'

查询以 w 开头以 d 结尾，中间包含 2～5 个 o 的字符串

[root@localhost ~]# grep -n 'wo\{2，5\}d' /etc/passwd

查询以 w 开头以 d 结尾，中间包含 2 以上 o 的字符串

[root@localhost ~]# grep -n 'wo\{2，\}d' /etc/passwd

二、sed工具使用

1.sed的工作流程

读取
sed 从输入流（文件、管道、标准输入）中读取一行内容并存储到临时的缓冲区中（又称模式空间，pattern space）。
执行
默认情况下，所有的 sed 命令都在模式空间中顺序地执行，除非指定了行的地址，否则 sed 命令将会在所有的行上依次执行
显示
发送修改后的内容到输出流。再发送数据后，模式空间将会被清空。

2.sed命令常见用法

sed[选项] '操作' 参数
sed [选项] -f 脚本文件 参数

-e 或–expression= 表示用指定命令或者脚本来处理输入的文本文件
-f 或–file= 表示用指定的脚本文件来处理输入的文本文件
-h 或–help 显示帮助
-n、–quiet 或 silent 表示仅显示处理后的结果
-i 直接编辑文本文件，直接编辑源文件

3.常见的操作

a 增加，在当前行下面增加一行指定内容
c 替换，将选定行替换为指定内容
d 删除，删除选定的行
i 插入，在选定行上面插入一行指定内容
p 打印，如果同时指定行，表示打印指定行；如果不指定行，则表示打印所有内容；如果有非打印字符，则以 ASCII 码输出。其通常与“-n”选项一起使用
s 替换，替换指定字符
y 字符转换

4.sed 常用示例

p 表示正常输出

[root@localhost ~]# sed -n 'p' test.txt  '输出所有内容,等同于 cat test.txt'
    ...省略内容
[root@localhost ~]# sed -n '3p' test.txt	'输出第 3 行'
     ...省略内容
[root@localhost ~]# sed -n '3,5p' test.txt	'输出第 3~5 行'
      ...省略内容
[root@localhost ~]# sed -n 'p;n' test.txt	'输出所有奇数行,n 表示读入下一行资料'
     ...省略内容
[root@localhost ~]# sed -n 'n;p' test.txt	'输出所有偶数行,n 表示读入下一行资料'
     ...省略内容
[root@localhost ~]# sed -n '1,5{p;n}' test.txt	'输出第 1~5 行之间的奇数行(第 1、3、5 行)'
     ...省略内容
[root@localhost ~]# sed -n '10,${n;p}' test.txt	'输出第 10 行至文件尾之间的偶数行'
     ...省略内容

sed 命令与正则表达式结合使用
sed 命令与正则表达式结合使用时格式略有不同，正则表达式以 “ / ” 包围

[root@localhost ~]# sed -n '/the/p' test.txt		'输出包含the 的行'
    ...省略部分内容
[root@localhost ~]# sed -n '4，/the/p' test.txt		'输出从第 4 行至第一个包含 the 的行'
    ...省略部分内容
[root@localhost ~]# sed -n '/the/=' test.txt		'输出包含the 的行所在的行号,等号(=)用来输出行号'
    ...省略部分内容
[root@localhost ~]# sed -n '/^PI/p' test.txt		'输出以PI 开头的行'
    ...省略部分内容
[root@localhost ~]# sed -n '/[0-9]$/p' test.txt		'输出以数字结尾的行'
    ...省略部分内容
[root@localhost ~]# sed -n '/\<wood\>/p' test.txt		'输出包含单词wood 的行,\<、\>代表单词边界'
    ...省略部分内容

d - 删除符合条件的文本

[root@localhost ~]# nl test.txt | sed '3d'	'删除第 3 行'
    ...省略内容
[root@localhost ~]# nl test.txt | sed '3,5d'	'删除第 3~5 行'
    ...省略内容
[root@localhost ~]# nl test.txt | sed '/cross/d'	'删除包含cross 的行'
    ...省略内容
[root@localhost ~]# nl test.txt | sed '/cross/! d'	'删除不包含cross 的行'
    ...省略内容
[root@localhost ~]# sed '/^[a-z]/d' test.txt	'删除以小写字母开头的行'
    ...省略内容
[root@localhost ~]# sed '/\.$/d' test.txt	'删除以"."结尾的行'
    ...省略内容
[root@localhost ~]# sed '/^$/d' test.txt	'删除所有空行'
    ...省略内容
[root@localhost ~]# sed -e '/^$/{n;/^$/d}' test.txt	'删除重复的空行，即连续的空行只保留一个,效果与“cat -s test.txt”相同，n 表示读下一行数据'
    ...省略内容

s - 替换符合条件的文本

[root@localhost ~]# sed 's/the/THE/' test.txt	'将每行中的第一个the 替换为 THE '
[root@localhost ~]# sed 's/l/L/2' test.txt	'将每行中的第 2 个l 替换为L '
[root@localhost ~]# sed 's/the/THE/g' test.txt	'将文件中的所有the 替换为THE'
[root@localhost ~]# sed 's/o//g' test.txt	'将文件中的所有o 删除(替换为空串)'
[root@localhost ~]# sed 's/^/#/' test.txt	'在每行行首插入#号'
[root@localhost ~]# sed '/the/s/^/#/' test.txt		'在包含the 的每行行首插入#号'
[root@localhost ~]# sed 's/$/EOF/' test.txt		'在每行行尾插入字符串EOF'
[root@localhost ~]# sed '3,5s/the/THE/g' test.txt	'将第 3~5 行中的所有the 替换为 THE'
[root@localhost ~]# sed '/the/s/o/O/g' test.txt	'将包含the 的所有行中的o 都替换为 O'

迁移符合条件的文本
H，复制到剪贴板
g、G，将剪贴板中的数据覆盖/追加至指定行
w，保存为文件
r，读取指定文件
a，追加指定内容

[root@localhost ~]# sed '/the/{H;d};$G' test.txt	'将包含the 的行迁移至文件末尾,{;}用于多个操作'
[root@localhost ~]# sed '1,5{H;d};17G' test.txt	'将第 1~5 行内容转移至第 17 行后'
[root@localhost ~]# sed '/the/w out.file' test.txt	'将包含the 的行另存为文件out.file '
[root@localhost ~]# sed '/the/r /etc/hostname' test.txt	'将文件/etc/hostname 的内容添加到包含the 的每行以后'
[root@localhost ~]# sed '3aNew' test.txt		'在第 3 行后插入一个新行,内容为 New '
[root@localhost ~]# sed '/the/aNew' test.txt	'在包含the 的每行后插入一个新行,内容为 New' 
[root@localhost ~]# sed '3aNew1\nNew2' test.txt	'在第 3 行后插入多行内容,中间的\n 表示换行'

f - 使用脚本编辑文件

[root@localhost ~]# sed '1,5{H;d};17G' test.txt	'将第 1~5 行内容转移至第 17 行后'
'以上操作可以改用脚本文件方式：'
[root@localhost ~]# vim abc.list		'编辑指令放到/abc.list中'
1,5H
1,5d
17G
[root@localhost ~]# sed -f abc.list test.txt '使用abc.list文件指令编辑test.txt文件'

三、awk工具详解

1.简介

在 Linux/UNIX 系统中，awk 是一个功能强大的编辑工具，逐行读取输入文本，并根据指定的匹配模式进行查找，对符合条件的内容进行格式化输出或者过滤处理
可以在无交互的情况下实现相当复杂的文本操作，被广泛应用于 Shell 脚本，完成各种自动化配置任务

2.awk常见用法

其中，单引号加上大括号“{}”用于设置对数据进行的处理动作

awk 可以直接处理目标文件，也可以通过“-f”读取脚本对目标文件进行处理

[root@localhost ~]# awk 选项 '模式或条件 {编辑指令}' 文件 1 文件 2 „	'过滤并输出文件符条件的内容'
[root@localhost ~]# awk -f 脚本文件 文件 1 文件 2 „	'从脚本中调用编辑指令,过滤并输出内容'

sed 命令常用于一整行的处理,而 awk 比较倾向于将一行分成多个“字段”然后再进行处理，且默认情况下字段的分隔符为空格或者 tab 键,awk 执行结果可以通过 print 的功能将字段数据打印显示

在使用 awk 命令的过程中,可以使用逻辑操作符“ && ”，表示“与”， “ || ”表示“或”，“！”表示“非”；还可以进行简单的数学运算，如+、-、*、/、%、^分别 表示加、减、乘、除、取余和乘方

[root@localhost ~]# awk -F ':' '{print $1,$3,$4}' /etc/passwd  '查看/etc/passwd的用户名（$1），用户ID($3)，组ID等列($4)'
$1,$3,$4之间用逗号隔开，输出的内容会有空格间隔
若$1 $3 $4之间不用逗号隔开，则输出的内容不会有空格间隔，会连在一起

3.awk包含的几个特殊内建变量

FS 指定每行文本的字段分隔符，默认为空格或制表位（tab）
NF 当前处理的行的字段个数
NR 当前处理的行的行号（序数）
$0 当前处理的行的整行内容
$n 当前处理行的第 n 个字段（第 n 列）
FILENAME 被处理的文件名
RS 数据记录分隔，默认为\n，即每行为一条记录（\n表示回车）

按行输出文本

[root@localhost ~]# awk '{print}' test.txt 		'输出所有内容，等同于cat test.txt'
...省略内容
[root@localhost ~]# awk '{print $0}' test.txt 		'输出所有内容，等同于cat test.txt'
...省略内容
[root@localhost ~]# awk 'NR==1,NR==3{print}' test.txt 		'输出第1~3行内容'
...省略内容
[root@localhost ~]# awk '(NR>=1)&&(NR<=3){print}' test.txt 		'输出第1~3行内容'
...省略内容
[root@localhost ~]# awk 'NR==1||NR==3{print}' test.txt 		'输出1行，第3行内容'
...省略内容
[root@localhost ~]# awk '(NR%2)==1{print}' test.txt 		'输出所有奇数行内容'
...省略内容
[root@localhost ~]# awk '(NR%2)==0{print}' test.txt 		'输出所有偶数行内容'
...省略内容
[root@localhost ~]# awk '/^root/{print}' /etc/passwd 		'输出以root开头的行'
...省略内容
[root@localhost ~]# awk '/nologin$/{print}' /etc/passwd		'输出以 nologin 结尾的行'
...省略内容
[root@localhost ~]# awk 'BEGIN {x=0} ; /\/bin\/bash$/{x++};END {print x}' /etc/passwd  '统计以/bin/bash 结尾的行数,等同于 grep -c "/bin/bash$" /etc/passwd '
...省略内容
[root@localhost ~]# awk 'BEGIN{RS=""};END{print NR}' /etc/squid/squid.conf  	'统计以空行分隔的文本段落数'
...省略内容

按字段输出文本

[root@localhost ~]# awk '{print $3}' test.txt	'输出每行中(以空格或制表位分隔)的第 3 个字段'
...省略内容
[root@localhost ~]# awk '{print $1,$3}' test.txt	'输出每行中的第 1、3 个字段'
...省略内容
[root@localhost ~]# awk -F: '$2=="!!"{print}' /etc/shadow 	'输出密码为空的用户的shadow 记录'
...省略内容
[root@localhost ~]# awk 'BEGIN {FS=":"}; $2=="!!"{print}' /etc/shadow		'输出密码为空的用户的shadow 记录'
...省略内容
[root@localhost ~]# awk -F: '$7~"/bash"{print $1}' /etc/passwd		'输出以冒号分隔且第 7 个字段中包含/bash 的行的第 1 个字段'
...省略内容
[root@localhost ~]# awk '($1~"nfs")&&(NF==8){print $1,$2}' /etc/services	'输出包含 8 个字段且第 1 个字段中包含 nfs 的行的第 1、2 个字段'
...省略内容
[root@localhost ~]# awk -F: '($7!="/bin/bash")&&($7!="/sbin/nologin"){print}' /etc/passwd	'输出第 7 个字段既不为/bin/bash 也不为/sbin/nologin 的所有行'
...省略内容

通过管道、双引号调用 Shell 命令

• 操作命令放在{}中
• 管道符号前面的命令输出的内容交给管道符号后面的命令处理
• 结合正则表达式，正则表达式同样要被/包围
• 调用的shell命令需要用""引起来
• {}中多个命令之间也能过；分隔

[ root@localhost ~]# awk -F : '/bash$/{print | "wc -l"}' /etc/ passwd
7    
#调用wc -I命令统计使用bash的用户个数，效果等同于grep -C

[ root@localhost ~]# grep -c '/bash$' /etc/passwd
[root@localhost ~]# awk 1 BEGIN {while ("w" lgetline)n++;{print n-2}}'
2
#调用w命令，并用来统计在线用户数

[ root@localhost ~]# awk 'BEGIN{ "hostname" | getline;print}'
localhost. localdomain
#调用hostname命令，并输出当前主机名