awk命令详解

awk命令

参考资料：https://blog.csdn.net/u010502101/article/details/81839519

AWK， 数据过滤工具 (类似于grep，比grep强大)，属数据处理引擎，基于模式匹配检查输入文本，逐行处理并输出。通常用在Shell脚本中，获取指定的数据，单独使用时，可对文本数据做统计

格式

格式1：前置命令 | awk [选项] ‘条件{编辑指令}’

格式2：awk [选项] ‘条件{编辑指令}’ 文件…

编辑指令如果包含多条语句时，可以用分号分隔，处理文本时，若未指定分隔符，则默认将空格、制表符等作为分隔符。print是最常见的指令。

选项

-F：指定分隔符，可省略（默认空格或Tab位）

-V：调用外部Shell变量 variable

1.数据字段变量

awk把分割后的数据字段自动分配给数据字段变量

• $0表示整行文本
• $1表示文本行中第一个数据字段
• $2表示文本行中第二个数据字段
• $n表示文本行中第n个数据字段

[root@xuniji01 ~]# cat test.txt 
The dog:There is a big dog and a little dog in the park
The cat:There is a big cat and a little cat in the park
The tiger:There is a big tiger and a litle tiger in the park

通过选项-F指定“:”为字段分隔符，把每行数据分为两段，然后输出第二个数据字段$2。

[root@xuniji01 ~]# awk -F: '{print $2}' test.txt  
There is a big dog and a little dog in the park
There is a big cat and a little cat in the park
There is a big tiger and a litle tiger in the park

注意：如不显示指定字段分隔符，awk的默认字段分隔符为任意空白字符，包括制表符、空格符、换行符等。

2.在脚本中使用多个命令

[root@xuniji01 ~]# awk -F: '{$1="Description:"; print $0}' test.txt 
Description: There is a big dog and a little dog in the park
Description: There is a big cat and a little cat in the park
Description: There is a big tiger and a litle tiger in the park

3.从文件中读程序命令

[root@xuniji01 ~]# vim pokes.txt
{
$1="Description:"
print $0
}

[root@xuniji01 ~]# awk -F: -f pokes.txt test.txt 
Description: There is a big dog and a little dog in the park
Description: There is a big cat and a little cat in the park
Description: There is a big tiger and a litle tiger in the park

4.在处理数据之前运行脚本

awk默认每次读入一行数据，然后用脚本进行处理。如果想在处理文本之前预处理一些命令，可以用BEGIN关键字指定。

[root@xuniji01 ~]# awk -F: 'BEGIN{print "开始处理..."}{print $2}' test.txt 
开始处理...
There is a big dog and a little dog in the park
There is a big cat and a little cat in the park
There is a big tiger and a litle tiger in the park

5.在处理数据后运行脚本

用END关键字在处理完所有数据后，再运行善后处理工作。

[root@xuniji01 ~]# awk -F: '{print $2} END{print "处理结束..."}' test.txt 
There is a big dog and a little dog in the park
There is a big cat and a little cat in the park
There is a big tiger and a litle tiger in the park
处理结束...

6.在program中使用变量

变量又分为两种形式：awk内置的变量；用户自定义的变量。

内置变量

1. 与记录分隔符相关变量

• FS ：输入字段分隔符
• OFS：输出字段分隔符
• RS：输入记录分割符
• ORS：输出字段分隔符
• FIELDWIDTHS：定义数据字段的宽度

FS用法

[root@xuniji01 ~]# cat test.txt 
The dog:There is a big dog and a little dog in the park
The cat:There is a big cat and a little cat in the park
The tiger:There is a big tiger and a litle tiger in the park

[root@xuniji01 ~]# awk 'BEGIN{FS=":"} {print $1, $2}' test.txt    #用FS指定字段分隔符为“:”，然后用“:”把每行数据分割为两段。
The dog There is a big dog and a little dog in the park
The cat There is a big cat and a little cat in the park
The tiger There is a big tiger and a litle tiger in the park

OFS用法

用FS指定输入字段分隔符“:”后，每行数据分为两个数据段，输出时，用OFS指定两个数据字段用“>”拼接。

[root@xuniji01 ~]# cat test.txt 
The dog:There is a big dog and a little dog in the park
The cat:There is a big cat and a little cat in the park
The tiger:There is a big tiger and a litle tiger in the park

[root@xuniji01 ~]# awk 'BEGIN{FS=":"; OFS=">"} {print $1, $2}' test.txt   #其实就是，FS指定字段分隔符为“:”，然后将指定的分隔符替换为>
The dog>There is a big dog and a little dog in the park
The cat>There is a big cat and a little cat in the park
The tiger>There is a big tiger and a litle tiger in the park

RS和ORS用法

默认情况下RS和ORS设置为“\n”，表示输入数据流中的每一行作为一条记录，输出时每条记录之间也以“\n”进行分割。
下面以a.txt文件为例，a.txt文件中内容如下：

[root@xuniji01 ~]# cat a.txt 
Tom is a student
and he is 20 years old

Bob is a teacher
and he is 40 years old


默认情况下，每行作为一条记录处理，但此种情况下，要把第一行和第二行作为一条记录处理，第三行和第四行作为一条记录处理。

[root@xuniji01 ~]# awk 'BEGIN{RS=""; ORS="\n"; FS="and"; OFS=","} {print $1, $2}' a.txt  
Tom is a student
, he is 20 years old
Bob is a teacher
, he is 40 years old

\n把前两行、后两行各看作一条记录来处理，然后把指定分隔符and替换为逗号。

常见字符截取

提取IP地址

##先查出IP地址
[root@xuniji01 ~]# ip add
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP group default qlen 1000
    link/ether 00:15:5d:0b:f5:03 brd ff:ff:ff:ff:ff:ff
    inet 10.5.6.244/24 brd 10.5.6.255 scope global noprefixroute eth0
       valid_lft forever preferred_lft forever
    inet6 fe80::b268:c536:3f01:4c85/64 scope link noprefixroute 
       valid_lft forever preferred_lft forever

##先把这一行拉出来
[root@xuniji01 ~]# ip add | grep global
    inet 10.5.6.244/24 brd 10.5.6.255 scope global noprefixroute eth0
    
##再把以空格为分隔的第二列拉出来
[root@xuniji01 ~]# ip add | grep global | awk '{print $2}'
10.5.6.244/24

##然后把以/24为分隔符的第一列拉出来
[root@xuniji01 ~]# ip add | grep global | awk '{print $2}' | awk -F/24 '{print $1}'   # 以/24为分隔符的第一列
10.5.6.244

这样就OK了。

##如果需要提取广播，提取第四列

[root@xuniji01 ~]# ip add | grep global | awk '{print $4}'
10.5.6.255

提取home目录可用容量

[root@xuniji01 ~]# df -h
文件系统                 容量  已用  可用 已用% 挂载点
devtmpfs                 904M     0  904M    0% /dev
tmpfs                    915M     0  915M    0% /dev/shm
tmpfs                    915M  8.5M  907M    1% /run
tmpfs                    915M     0  915M    0% /sys/fs/cgroup
/dev/mapper/centos-root   50G  2.0G   48G    4% /
/dev/sda1               1014M  180M  835M   18% /boot
/dev/mapper/centos-home   74G   33M   74G    1% /home
tmpfs                    183M     0  183M    0% /run/user/0

[root@xuniji01 ~]# df -h | grep home
/dev/mapper/centos-home   74G   33M   74G    1% /home

[root@xuniji01 ~]# df -h | grep home |  awk '{print $4}'
74G