SHELL三剑客 GREP SED AWK

grep

grep 是linux 中最常用的“文本处理工具之一” 与sed awk 合称为linux中的三剑客！

grep 就像你在windows中打开txt文件，使用快捷键“Ctrl+F” 在文本中查找某个字符串一样，可以把grep 理解为字符查找工具

grep 的全程为Global search Regular Expression and Print out the line 为全局搜索的意思

-i:在搜索的时候忽略大小写
[root@localhost ~]# cat /etc/passwd|grep -i "SSH"
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
 
-n: 显示结果所在行号
[root@localhost ~]# cat /etc/passwd|grep -ni "SSH"
17:sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
 
-c:统计匹配到的行数
[root@localhost ~]# cat /etc/passwd|grep  "root"
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
[root@localhost ~]# cat /etc/passwd|grep -c "root"
2
 
-w:匹配单个单词，如果字符串中包含这个单词，则不匹配
[root@localhost ~]# cat /etc/passwd.bak|grep -w "root"
root:x:0:0:root:/root:/bin/bash
rootroo:x:0:0:root:/root:/bin/bash #不会显示rootroo的
 
-e:实现多个选项的匹配。逻辑或or的关系
==egrep
==grep -E
[root@localhost ~]# cat /etc/passwd.bak|egrep -w "root|sshd"
root:x:0:0:root:/root:/bin/bash
rootroo:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
 
-q: 静默模式，不输出任何信息 判断：echo $?
[root@localhost ~]# cat /etc/passwd.bak|grep -q "root"
 
-v:输出不带关键字的行（反向查询，反向匹配）
[root@localhost ~]# cat /etc/passwd.bak|grep -v "root"
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
nobody:x:99:99:Nobody:/:/sbin/nologin
systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin
dbus:x:81:81:System message bus:/:/sbin/nologin
polkitd:x:999:998:User for polkitd:/:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
chrony:x:998:996::/var/lib/chrony:/sbin/nologin

sed

流编辑器，主要用来过滤和替换文本内容

工作原理：

1. sed是流编辑器，不允许用户与它进行交互操作.sed是以行为单位处理文本内容的.每一次读取一行到内存中，即称之为模式空间(pattern space)
2. 默认不修改原文件，如果需要修改需加-i参数
3. sed有模式空间及保持空间(hold sapce)，默认打印模式空间中的内容到标准输出
4. sed读取每行的时候会将内容保存至内存中
5. 支持正则和扩展正则表达式，除-y选项

用法：

sed [选项] ‘地址定界 动作’ file_name

选项：
-n ：使用安静(silent)模式。在一般 sed 的用法中，所有来自 STDIN 的数据一般都会被列出到终端上。
     但如果加上 -n 参数后，则只有经过sed 特殊处理的那一行(或者动作)才会被列出来。一般跟（p参数结合使用）
-e ：直接在命令列模式上进行 sed 的动作编辑；
-f ：直接将 sed 的动作写在一个文件内， -f filename 则可以运行 filename 内的 sed 动作；
-r ：sed 的动作支持的是延伸型正规表示法的语法。(默认是基础正规表示法语法)
-i ：直接修改读取的文件内容，而不是输出到终端。
 
动作/命令：
a ：新增行， a 的后面可以是字串，而这些字串会在新的一行出现(匹配行的下一行)
c ：替换行，将匹配的行替换为指定字符“test”
d ：删除行，因为是删除，所以 d 后面通常不接任何参数，直接删除地址表示的行；
i ：插入行， i 的后面可以接字串，而这些字串会在新的一行出现(匹配行的上一行)；
p ：打印，即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运行
s ：替换，可以直接进行替换的工作,通常这个 s 的动作可以搭配正规表示法，例如 1,20s/old/new/g 一般是替换符合条件的字符串而不是整行
w :将模式空间匹配到的行，写入指定文件中
r ：将PATH中指定的文件写入匹配到的行下方，多用于文件合并。
=：显示行号
! : 条件取反，一般用于模式之后，命令之前

示例：

地址定界常规方法：

1：空地址。即对全文就行处理 g是全局替换

[root@master ~]# sed  's/root/ROOT/g' /etc/passwd

从第三次开始替换

[root@master ~]# echo "sksksksksksk" | sed 's/sk/SK/3g'
skskSKSKSKSK

所有已mysql开头的都被替换为mysql_wg007 (&符号表示匹配字符)

[root@master ~]# sed 's/^mysql/&_wg007/' /tmp/passw

2：单地址

[root@master ~]# sed -n '/^#/p' /tmp/passwd
#root:x:0:0:root:/root:/bin/bash

3：地址范围

显示1-3行的内容

[root@master ~]# sed -n '1,3p' /tmp/passwd
#root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin

显示：从第三行开始，往下再来3行

[root@master ~]# sed -n '3,+3p' /tmp/passwd
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync

4：步进地址表示法

打印奇数行

[root@master ~]# sed -n '1~2p' /tmp/passwd

打印偶数行

[root@master ~]# sed -n '2~2p' /tmp/passwd

d:删除模式空间的内容

删除第一行的内容

[root@master ~]# sed '1d' /tmp/passwd

删除1-3行的内容

[root@master ~]# sed '1,3d' /tmp/passwd

删除空行

sed '/^$/d' /tmp/passwd

a:追加

在以#号开头的行号后面新增一行字符“123”

[root@master ~]# sed  '/^#/a "123"' /tmp/passwd
#root:x:0:0:root:/root:/bin/bash
"123"

在第一行后面新增字符“huazai007”

[root@master ~]# sed  '1a"huazai007"' /tmp/passwd
#root:x:0:0:root:/root:/bin/bash
"huazai007"

i:插入

在第三行的前面插入字符“huazai007”

[root@master ~]# sed  '3i"huazai007"' /tmp/passwd
#root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
"huazai007"
daemon:x:2:2:daemon:/sbin:/sbin/nologin

在以lp开头的行前插入一行

[root@master ~]# sed  '/^lp/i"huazai007"' /tmp/passwd
#root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
"huazai007"
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

在以nologin结尾的行前插入一行

smmsp:x:51:51::/var/spool/mqueue:/sbin/nologin
"huazai007"
mysql:x:27:27:MariaDB Server:/var/lib/mysql:/sbin/nologin
[root@master ~]# sed  '/nologin$/i"huazai007"' /tmp/passwd

c:替换

当前行只要包含“”root“” 这个字符串，整行会被替换为“huazai007”

[root@master ~]# sed  '/root/c"huazai007"' /tmp/passwd
"huazai007"

将以#号开头的替换为“”huazai007“”

[root@master ~]# sed  '/^#/c"huazai007"' /tmp/passwd
"huazai007"

w : 将模式空间匹配到的行，写入指定文件中

将以#号开头的行写入到result.txt文件

[root@master ~]# sed  '/^#/w result.txt' /tmp/passwd
[root@master ~]# cat result.txt
#root:x:0:0:root:/root:/bin/bash

将1-3行写入到result文件

[root@master ~]# sed  '1,3w result.txt' /tmp/passwd

r /PATH : 将PATH中指定的文件写入匹配到的行下方，多用于文件合并。

将result.txt 的内容写入到 以mysql开头并且以nologin结尾的行后面

mysql:x:27:27:MariaDB Server:/var/lib/mysql:/sbin/nologin
#root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
[root@master ~]# sed  '/^mysql.*nologin$/r result.txt' /tmp/passwd

=：显示行号

显示最后一行的行号

24
mysql:x:27:27:MariaDB Server:/var/lib/mysql:/sbin/nologin
[root@master ~]# sed  '$=' /tmp/passwd

显示以ftp开头的行号，在匹配行上方显示行号

[root@master ~]# sed  '/^ftp.*nologin$/=' /tmp/passwd
12
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
nobody:x:99:99:Nobody:/:/sbin/nologin

! : 条件取反，一般用于模式之后，命令之前

除了#号开头的都打印出来

sed  -n '/^#/!p' /tmp/passwd

sed高级用法：模式空间与保持空间
模式空间：sed处理文本内容行的一个临时缓冲区，模式空间中的内容会主动打印到标准输出，并自动清空模式空间

保持空间：sed处理文本内容行的另一个临时缓冲区，不同的是保持空间内容不会主动清空，也不会主动打印到标准输出，而是需要sed命令来进行处理

模式空间与保持空间的关系

模式空间：相当于流水线，文本行在模式空间中进行处理；
保持空间：相当于仓库，在模式空间对数据进行处理时，可以把数据临时存储到保持空间；作为模式空间的一个辅助临时缓冲区，但又是相互独立，可以进行交互，命令可以寻址模式空间但是不能寻址保持空间。可以使用高级命令h,H,g,G与模式空间进行交互。

hold：（H|h）(追加|覆盖)到保持空间

get：（G|g）（追加|覆盖）到模式空间

exchange：（x）空间互换

h : 把模式空间中的内容覆盖至保持空间中
H : 把模式空间中的内容追加至保持空间中
g : 把保持空间中的内容覆盖至模式空间中
G : 把保持空间中的内容追加至模式空间中
x : 把模式空间中的内容到保持空间中的内容互换，初始保持空间中为空
n : 读取下一行覆盖模式空间中的行
seq 11 | sed 'n;d' : 显示结果为1、3、5、7、9、11 ，默认动作先输出模式空间中的行，再覆盖读取下一行，再执行d命令
seq 10 | sed 'n;d' : 显示结果为1、3、5、7、9
N : 读取下一行并追加到模式空间中的行后面，使用\n分隔
seq 11 | sed 'N;d' : 显示结果为11，默认动作先读取两行，然后执行d操作
seq 10 | sed 'N;d' :显示结果为空
D : 删除模式空间中的多行
seq 11 | sed 'N;D' : 显示结果为11
{} : 多命令同时执行时，需要使用{}括起来
sed -n '/^UUID/{N;p}' fstab1 : 读取UUID开始的行，再读取下一行并打印模式空间的内容。

理解n与N

n : 读取下一行覆盖模式空间中的行
N : 读取下一行并追加到模式空间中的行后面，使用\n分隔

[root@master ~]# seq 4 |sed   'n;d'
1
3

说明：pattern space先读入1，然后执行到n，把下一行2读入pattern space中并覆盖原本的1。然后pattern space中的内容（2）被删除（d操作），所以打印出1\n3

[root@master ~]# seq 5|sed 'N;d'
5

说明：pattern space先读入1，然后执行到N，把下一行添加到当前的pattern space中，pattern space内容为1\n2，然后执行d操作被删除。接下去读入3，执行N，pattern space 内容变为3\n4，然后再被删除，就剩下个5

[root@master ~]# seq 5 |sed  -n 'n'
[root@master ~]# seq 5 |sed  -n 'N'

以上两都不会输出输入，-n参数把模式空间中的内容关闭显示了

[root@master ~]# seq 5 |sed  -n 'n;p'
2
4

说明：-n参数不显示模式空间的内容，说明：模式空间中有1，然后n使用2覆盖1，再p打印，当执行到第5行时，发现没有下一行了，就不执行n了

[root@master ~]# seq 5 |sed  -n 'N;p'
1
2
3
4

说明：n首先读取1\n2 -->打印模式空间 -->读取3\n4—>打印模式空间—>读取5行发现没有第6行—>失败

理解x:

把模式空间中的内容到保持空间中的内容互换，初始保持空间中为空

[root@master ~]# seq 4 |sed '/3/{x;p;x}'
1
2
 
3
4

说明：当匹配到3的时候，执行交换，现在模式空间为空行，保持空间中为3，执行p命令显示模式空间中的空行，x再交换两这空间的内容，此是模式空间为3,默认模式空间的就会输出至标准屏幕，故3之前多了一个空行

[root@master ~]# seq 4 |sed '/3/{x;p;x;d}'
1
2
 
4

说明：当第二个x交换回来，直接交给d执行，故3就没有了，只多了一条空行

理解h和H

h : 把模式空间中的内容覆盖至保持空间中
H : 把模式空间中的内容追加至保持空间

[root@master ~]# seq 4 |sed 'h;x'
1
2
3
4

说明：把模式空间中的内容覆盖到保持空间，再交换，再打印至标准输出

[root@master ~]# seq 4 |sed  'x;h'

说明：先把模式空间的与保持空间交换，现在模式空间为空行，保持空间为1，然后再把模式空间覆盖保持空间，再输出至标准输出，故都为空行

[root@master ~]# seq 4 |sed 'H;x'
 
1
1
2
2
3
3
4

说明：把模式空间中的内容（1）追加到保持空间（0+1），再交换，此时模式空间空间为（0+1），保持空间为（1）再打印至标准输出

[root@master ~]# seq 4 |sed 'x;H'
 
1
 
2
1
 
3
2
1

说明：将模式空间的（1）和保持空间的（0）互换，再将模式空间的（0）追加到保持空间的（1）下 。此时保持空间为（10），模式空间为（0）。再打印标准输出0，以此类推

理解g和G

g : 把保持空间中的内容覆盖至模式空间中
G : 把保持空间中的内容追加至模式空间中

[root@master ~]# seq 4 |sed '/3/g'
1
2
 
4

说明：当匹配到3的时候，把保持空间的空行覆盖到模式空间，故就输出了空行

[root@master ~]# seq 3 | sed '1!G'
1
2
 
3

说明：不是第1行就执行G操作，G是追加保持空间到模式空间，即为2+空行

awk

awk 是一个优良的文本处理工具。（其名称得自于它的创始人阿尔佛雷德·艾侯、彼得·温伯格和布莱恩·柯林汉姓氏的首个字母）

语法：awk ‘pattern {action}’ file_name

其中 pattern 表示 AWK 在数据中查找的内容，而 action 是在找到匹配内容时所执行的一系列命令

awk内置变量

属性  说明
$0  当前记录（作为单个变量）
$1~$n   当前记录的第n个字段，字段间由FS分隔
FS  输入字段分隔符 默认是空格
NF  当前记录中的字段个数，就是有多少列
NR  已经读出的记录数，就是行号，从1开始
RS  输入的记录他隔符默 认为换行符
OFS     输出字段分隔符 默认也是空格
ORS     输出的记录分隔符，默认为换行符
ARGC    命令行参数个数
ARGV    命令行参数数组
FILENAME    当前输入文件的名字
IGNORECASE  如果为真，则进行忽略大小写的匹配
ARGIND  当前被处理文件的ARGV标志符
CONVFMT     数字转换格式 %.6g
ENVIRON     UNIX环境变量
ERRNO   UNIX系统错误消息
FIELDWIDTHS     输入字段宽度的空白分隔字符串
FNR     当前记录数
OFMT    数字的输出格式 %.6g
RSTART  被匹配函数匹配的字符串首
RLENGTH     被匹配函数匹配的字符串长度
SUBSEP  \034

[root@localhost ~]# awk '{print $0}' /etc/passwd<br>root:x:0:0:root:/root:/bin/bash<br>bin:x:1:1:bin:/bin:/sbin/nologin<br>daemon:x:2:2:daemon:/sbin:/sbin/nologin<br><br>
 print 是打印命令  $0 是代表当前行

awk 会根据空格和制表符，将每一行分成若干字段，一次用$1,$2,$3代表第一个字段，第二个字段，第三个字段

-F 指定分隔符为冒号

[root@localhost ~]# awk -F ':' '{print $1，$2}' /etc/passwd
root
bin
daemon
adm
lp
sync
shutdown

awk 常用变量

NF：表示最后一个字段

[root@localhost ~]# awk -F ':' '{print $NF}' /etc/passwd
/bin/bash
/sbin/nologin
/sbin/nologin
/sbin/nologin
/sbin/nologin

$(NF-1):表示倒数第二个字段

[root@localhost ~]# awk -F ':' '{print $(NF-1)}' /etc/passwd
/root
/bin
/sbin
/var/adm
/var/spool/lpd

NR：表示当前处理的是第几行

输出第二行

[root@localhost ~]# awk -F ":" 'NR==2 {print}' /etc/passwd
bin:x:1:1:bin:/bin:/sbin/nologin

输出第三行以后的行

[root@localhost ~]# awk -F ':' 'NR>3 {print}' /etc/passwd
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown

awk 内置函数

toupper()用于将字符转为大写【t^ber】

[root@localhost ~]# awk -F ':' '{print toupper($1)}' /etc/passwd
ROOT
BIN
DAEMON
ADM
LP

tolower()用于将字符串转为小写

[root@localhost ~]# awk -F ':' '{print toupper($1)}' /etc/passwd >/tmp/aa.txt

[root@localhost ~]# awk '{print tolower($1)}' /tmp/aa.txt

root

bin

daemon

adm

awk 允许指定输出条件，只输出符合条件的行

打印包含root的行

[root@localhost ~]# awk '/root/ {print}' /etc/passwd

root:x:0:0:root:/root:/bin/bash

operator:x:11:0:operator:/root:/sbin/nologin

输出第一个字段等于指定值的行

[root@localhost ~]# awk -F ':' '$1=="root" {print}' /etc/passwd
root:x:0:0:root:/root:/bin/bash

awk if else语句

假如$1==root 打印第一个字段，否则打印第二个字段

[root@localhost ~]# awk -F : '{if ($1=="root") print $1;else print $2}' /etc/passwd
root
x
x
x
x

awk 高级用法BEGIN END

任何在BEGIN之后列出的操作（在{}内）将在Unix awk开始扫描输入之前执行，而END之后列出的操作将在扫描完全部的输入之后执行。

因此，通常使用BEGIN来显示变量和预置（初始化）变量，使用END来输出最终结果

数字求和

seq 10|awk '{sum+=$0} END {print sum}'

例：累计销售文件xs中的销售金额（假设销售金额在记录的第三字段）：
 
cat sx
 
一:50件:200.00
 
二:60件:300.00
 
三:70件:400.00

[root@localhost ~]# awk 'BEGIN {FS=":";print "统计销售金额";total=0} {print $3;total=total+$3;} END {printf "销售金额总计: %.2f\n",total}' sx
统计销售金额
200.00
 
300.00
 
400.00
销售金额总计: 900.00

AWK 数组

awk可以使用关联数组这种数据结构，索引可以是数字或字符串。

AWK关联数 组也不需要提前声明其大小，因为它在运行时可以自动的增大或减小。

定义数组，并且打印数组元素

awk 'BEGIN{a[0]="xiaohong";a[1]="xiaolan";print a[0]}'

打印所有元素的下标（索引）

awk 'BEGIN{a[0]="xiaohong";a[1]="xiaolan";for (i in a)print i;}'

打印所有元素

awk 'BEGIN{a[0]="xiaohong";a[1]="xiaolan";for (i in a)print a[i];}'

统计访问网站的ip地址的个数

[root@localhost ~]# awk '{ip[$1]} END {for (i in ip) print i}' /var/log/httpd/access_log  #打印下标
172.18.47.60
172.18.47.61
127.0.0.1
[root@localhost ~]# awk '{ip[$1]++} END {for (i in ip) print i}' /var/log/httpd/access_log
172.18.47.60
172.18.47.61
127.0.0.1
[root@localhost ~]# awk '{ip[$1]++} END {for (i in ip) print i,ip[i]}' /var/log/httpd/access_log
172.18.47.60 1001
172.18.47.61 1001
127.0.0.1 1001