【AWK命令】

---

一、awk的工作原理：

1、逐行读取文本，默认以空格或tab键为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命令。
2、sed命令常用于一整行的处理，而awk比较倾向于将一行分成多个“字段”然后再进行处理。awk信息的读入也是逐行读取的，执行结果可以通过print的功能将字段数据打印显示。在使用awk命令的过程中,可以使用逻辑操作符“&&”表示“与”、“||”表示“或”、“!”表示“非”；还可以进行简单的数学运算，如+、-、*、/、%、^分别表示加、减、乘、除、取余和乘方。

1.1、命令格式:

awk 选项 '模式或条件 {操作}' 文件 1 文件 2 
awk -f 脚本文件 文件 1 文件 2

1.2、awk常见的内建变量（可直接用）：

FS：列分割符。指定每行文本的字段分隔符，默认为空格或制表位。与"-F"作用相同
NF：当前处理的行的字段个数。
NR：当前处理的行的行号（序数）。
$0：当前处理的行的整行内容。
$n：当前处理行的第n个字段（第n列）。
FILENAME：被处理的文件名。
RS：行分隔符。awk从文件上读取资料时,将根据RS的定义把资料切割成许多条记录,而awk一次仅读入一条记录,以进行处理。预设值是'\n'

二、命令演示

1、按行输出文本

1、使用awk来输出所有的内容

[root@dz666 ~]# awk '{print $0}' test
one
two
three
four
five
six
seven
eight
nine
ten
eleven
twelve

2、输出所有奇数行的内容和偶数行的内容

[root@dz666 ~]# awk '(NR%2)==1 {print $0}' test
#奇数行内容
one
three
five
seven
nine
eleven

[root@dz666 ~]# awk '(NR%2)==0 {print $0}' test
#偶数行内容
two
four
six
eight
ten
twelve

3、输出第 1~3 行内容和输出第1行、第3行内容

[root@dz666 ~]# awk 'NR==1,NR==3 {print $0}' test
#直接输入NR等于的行
one
two
three

[root@dz666 ~]# awk '(NR>=1)&&(NR<=3) {print $0}' test
#使用 或的运算符 && 来进行输出第一行到第三行内容
one
two
three

[root@dz666 ~]# awk 'NR==1 || NR==3 {print}' test
#使用 且的运算符34 || 输出第1行，第三行内容
one
three

4、输出以 root 开头的行，输出以bash结尾的行

[root@dz666 ~]# awk '/^root/ {print $0}' /etc/passwd
#输出以 root 开头的行
root:x:0:0:root:/root:/bin/bash

[root@dz666 ~]# awk '/\/bin\/bash$/ {print $0}' /etc/passwd
#加上bin要使用反斜杠输出以bash结尾的行
root:x:0:0:root:/root:/bin/bash
dikl:x:1000:1000:DikL:/home/dikl:/bin/bash

[root@dz666 ~]# awk -F: '/^root/ {print $1,$3,$NF}' /etc/passwd
#
root 0 /bin/bash

5、BEGIN模式表示，在处理指定的文本之前，需要先执行BEGIN模式中指定的动作；awk再处理指定的文本，之后再执行END模式中指定的动作，END{}语句块中，往往会放入打印结果等语句

#使用BEGUN模式也能实现小数的计算
[root@dz666 ~]# awk 'BEGIN {print 1.1 * 2.2 }'
2.42
[root@dz666 ~]# awk 'BEGIN {print 1.1 + 2.2 }'
3.3

1、统计以/bin/bash 结尾的行数
[root@dz666 ~]# awk 'BEGIN {x=0};/\/bin\/bash$/{x++};END{print x $0}' /etc/passwd
#x=0 意思是定义一个变量，从0开始找起
#x++ 意思是找到以/bin/bash/为结尾的行的话，x自加一
2   

2、使用 grep -c 统计以/bin/bash 结尾的行数
[root@dz666 ~]#  grep -c "/bin/bash$" /etc/passwd
2

3、使用 wc -l 统计以/bin/bash 结尾的行数
[root@dz666 ~]# awk '/bin\/bash/ {print | "wc -l"}' /etc/passwd 
2

2、按字段输出文本

使用-F来指定分割符

1、
[root@dz666 ~]# awk -F: '/^root/ {print $0}' /etc/passwd
# $0显示整行内容
root:x:0:0:root:/root:/bin/bash

2、
[root@dz666 ~]# awk -F: '/^root/ {print $3}' /etc/passwd
# $3查看第三个字段
0

3、
[root@dz666 ~]# awk -F: '/^root/ {print $1,$3,$NF}' /etc/passwd
# $NF的意思是以分割符后的最后一个字段,$1查看第一个字段，$3查看第三个字段
root 0 /bin/bash

4、
[root@dz666 ~]# awk -F: '!($3>5){print}' /etc/passwd
#输出第三个字段的值不大于5的行，就是第三个字段的值小于等于5的行都显示
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync

5、
[root@dz666 ~]# awk 'BEGIN {FS=":"};$3<5{print $3,$1}' /etc/passwd
#可以使用 BEGIN{FS="分割符"} 来替代-F
0 root
1 bin
2 daemon
3 adm
4 lp

6、
[root@dz666 ~]# awk -F: '{if($3<5) {print $3,$1}}' /etc/passwd
#也可以使用if语句来指定字段
0 root
1 bin
2 daemon
3 adm
4 lp

[root@dz666 ~]# awk -F: '$1~"root" {print $0}' /etc/passwd
#输出以冒号分隔且第1个字段中包含root的行的整行内容
root:x:0:0:root:/root:/bin/bash

[root@dz666 ~]# awk -F: '$7~"bash" {print $1}' /etc/passwd
#输出以冒号分隔且第7个字段中包含/bash的行的第1个字段
root
dikl


[root@dz666 ~]# awk -F: '($1~"root")&&(NF==7) {print $1,$2}'/etc/passwd
#输出第1个字段中包含root且有7个字段的行的第1、2个字段
root x

[root@dz666 ~]# awk -F ":" '($7!="/bin/bash")&&($7!="/sbin/nologin"){print}' /etc/passwd
#输出第7个字段既不为/bin/bash，也不为/sbin/nologin的所有行
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt


[root@dz666 ~]# awk -F ":" '($1~"root")&&($NF!="/sbin/nologin"){print}' /etc/passwd
#输出的第一个字段中包含root且最后一个字段不等于/sbin/nologin的所有行
root:x:0:0:root:/root:/bin/bash

1、使用三元运算符

条件表达式？值1:值2

[root@dz666 ~]# awk -F  ":"  '{max=($3>=$4)?$3:$4;{print max}}' /etc/passwd

#如果第3个字段的值大于等于第4个字段的值，则把第3个字段的值赋给max，否则第4个字段的值赋给max

三、通过管道，双引号调用shell命令

1、输出行内容和行号

[root@dz666 ~]# awk -F: '{print NR,$0}' test
#输出每行内容和行号，每处理完一条记录，NR值加1
1 one
2 two
3 three
4 four
5 five
6 six
7 seven
8 eight
9 nine
10 ten
11 eleven
12 twelve

[root@dz666 ~]# echo $PATH | awk 'BEGIN{RS=":"}; {print NR,$0}'
#按照分割符来进行逐行去读取
1 /usr/local/sbin
2 /usr/local/bin
3 /usr/sbin
4 /usr/bin
5 /root/bin

2、使用 free -m 查看以兆b为单位的内存使用量

当前内存的使用量

[root@dz666 ~]# free -m | awk '/Mem:/ {print $3/$2 * 100"%"}'

21.7756%    #内存的使用量

当前内存的空闲量

[root@dz666 ~]# free -m | awk '/Mem/ {print ($2-$3)/$2 *100"%"}'

78.2244%  #内存的空闲量

3、查看cpu的使用情况

#查看cpu的使用率
top -b -n1 | awk -F"," '/%Cpu/ {print $4}' | awk '{print 100-$1"%"}'
#top -b -n1 仅输出一次结果

4、获得当前磁盘根目录的使用率和空闲率

df | awk '$NF=="/" {print $5}'
#磁盘根目录的使用率

df | awk '$NF=="/" {print $5}' | awk -F "%" '{print 100-$1"%"}'
#磁盘的空闲率，使用100%减去磁盘的使用率

1、查看时间的命令

查看时间的命令

使用命令来查看日期

[root@dz666 ~]# date +%F
2023-05-15
#显示当天的日期

[root@dz666 ~]# date +%D
05/15/23
#反着看当天的日期

[root@dz666 ~]# date +%Y%m%d
20230515
#显示当天的日期

[root@dz666 ~]# date +%Y/%m/%d
2023/05/15
#显示当天的日期，以撇号隔开

[root@dz666 ~]# date +%Y/%m/01
2023/05/01
#显示当月第一天

[root@dz666 ~]# date +"%Y/%m/%d %H:%M:%S"
2023/05/15 18:23:11
#显示日期和现在的时间

[root@dz666 ~]# date -d "$(date -d "1 month" +%Y%m01) -1 day" +%Y%m%d
#当月的倒数第一天
20230531

[root@dz666 ~]# date -d "$(date +"%Y%m01") -3 day" +"%Y%m%d" 
#上个月的倒数第3天
20230428

显示上次重启的日期和时间

date -d "$(cat /proc/uptime | awk -F. '{print $1}') second ago" +"%Y%m%d %H:%M:%S"

调用w命令,并用来统计在线用户数

awk 'BEGIN {n=0 ; while ("w" | getline) n++ ; {print n-2}}'
#getline 意思是根据awk来获取行

调用 hostname,并输出当前的主机名

awk 'BEGIN {"hostname" | getline ; {print $0}}'

2、getline 获取内容

1、当getline左右无重定向符“<”或“|”时，awk首先读取到了第一行，就是1，然后getline，就得到了1下面的第二行，就是2，因为getline之后，awk会改变对应的NF，NR，FNR和$0等内部变量，所以此时的$0的值就不再是1，而是2了，然后将它打印出来。

2、当getline左右有重定向符“<”或“|”时，getline则作用于定向输入文件，由于该文件是刚打开，并没有被awk读入一行，只是getline读入，那么getline返回的是该文件的第一行，而不是隔行。

3、使用getline来获取偶数行和奇数行

[root@dz666 ~]# seq 10 | awk '{print $0 ; getline}'
1
3
5
7
9

[root@dz666 ~]# seq 10 | awk '{getline ; print $0}'
2
4
6
8
10

3、OFS输出分割符

指定分割符

[root@dz666 ~]# echo "A B C D" | awk '{OFS="|";print $0;$1=$1;print $0}'
A B C D
A|B|C|D

[root@dz666 ~]# echo "A B C D" | awk '{OFS=",";print $0;$1=$1;print $0}'
A B C D
A,B,C,D

$1=$1 是用来激活$0的重新赋值,也就是说 字段$1…和字段数NF的改变会促使awk重新计算$0的值,通常是在改变OFS后而需要输出$0时这样做

4、awk来排序数组

[root@dz666 ~]# awk 'BEGIN{a[0]=10;a[1]=20;a[2]=30;for(i in a){print i,a[i]}}' 
0 10
1 20
2 30

1：BEGIN中的命令只执行一次
2：awk数组的下标除了可以使用数字，也可以使用字符串，字符串需要使用双引号

1、查看重复的行内容

[root@dz666 ~]# cat test.txt | awk '{a[$1]++}; END{for(i in a){print i,a[i]}}'
aaa 3
ccc 2
bbb 2

a[1]初始为0，a[1]++后即为1，而这里awk中的a[1]++最终的值是由test.txt文本内容有多少行决定的，文本逐行读取完毕后再执行END中的命令

2、使用awk 统计 httpd 访问日志中每个客户端IP的出现次数?

[root@dz666 ~]# cd /var/log
#进入var目录里
[root@dz666 /var/log]# cat secure | awk '/Failed password/{a[$11]++};END{for(i in a){print i,a[i]}}'