awk的使用

参考1：https://www.cnblogs.com/bugingcode/p/8287914.html

参考2：https://blog.csdn.net/ha_weii/article/details/80761559

来自：创始人Alfred Aho 、Peter Weinberger 和 Brian Kernighan的首字母

样式扫描和处理语言

awk 'BEGIN{commands} pattern{commands} END{commands}'

分别对应：开始之前、每行、结束后。

pattern中的参数：

$0：当前整行
$1-$n：当前行第n个字段
FS：字段分隔符（或-F）
NF: 字段个数
NR: 已读出的记录数（行号，从1开始）
FNR：当前记录数
RS: 输入的记录分隔符
OFS: 输出字段分隔符
ORS: 输出记录分隔符
FILENAME：输入的文件名

示例1：ls -l | awk '{print NR ' ' $1}'

[neil@localhost test]$ ls -lh | awk '{print NR " " $1}'
1 总用量
2 -rw-rw-r--.
3 drwxrwxr-x.
4 drwxrwxr-x.
5 -rw-rw-r--.
6 drwxrwxr-x.
7 drwxrwxr-x.
8 -rw-rw-r--.
9 -rw-rw-r--.
10 drwxrwxr-x.
11 -rw-rw-r--.
12 drwxrwxr-x.
13 -rw-rw-r--.
14 drwxrwxr-x.
15 drwxrwxr-x.
16 -rw-rw-r--.
17 -rw-rw-r--.
18 -rw-rw-r--.
19 drwxrwxr-x.

示例2: awk  -F ':'  '{printf("filename:%10s,linenumber:%s,columns:%s,linecontent:%s\n",FILENAME,NR,NF,$0)}' /etc/passwd

[neil@localhost test]$ awk  -F ':'  '{printf("filename:%10s,linenumber:%s,columns:%s,linecontent:%s\n",FILENAME,NR,NF,$0)}' /etc/passwd
filename:/etc/passwd,linenumber:1,columns:7,linecontent:root:x:0:0:root:/root:/bin/bash
filename:/etc/passwd,linenumber:2,columns:7,linecontent:bin:x:1:1:bin:/bin:/sbin/nologin
filename:/etc/passwd,linenumber:3,columns:7,linecontent:daemon:x:2:2:daemon:/sbin:/sbin/nologin
filename:/etc/passwd,linenumber:4,columns:7,linecontent:adm:x:3:4:adm:/var/adm:/sbin/nologin
filename:/etc/passwd,linenumber:5,columns:7,linecontent:lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
filename:/etc/passwd,linenumber:6,columns:7,linecontent:sync:x:5:0:sync:/sbin:/bin/sync
filename:/etc/passwd,linenumber:7,columns:7,linecontent:shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
filename:/etc/passwd,linenumber:8,columns:7,linecontent:halt:x:7:0:halt:/sbin:/sbin/halt
filename:/etc/passwd,linenumber:9,columns:7,linecontent:mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
filename:/etc/passwd,linenumber:10,columns:7,linecontent:operator:x:11:0:operator:/root:/sbin/nologin
filename:/etc/passwd,linenumber:11,columns:7,linecontent:games:x:12:100:games:/usr/games:/sbin/nologin
filename:/etc/passwd,linenumber:12,columns:7,linecontent:ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
filename:/etc/passwd,linenumber:13,columns:7,linecontent:nobody:x:99:99:Nobody:/:/sbin/nologin
filename:/etc/passwd,linenumber:14,columns:7,linecontent:systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin
filename:/etc/passwd,linenumber:15,columns:7,linecontent:dbus:x:81:81:System message bus:/:/sbin/nologin
filename:/etc/passwd,linenumber:16,columns:7,linecontent:polkitd:x:999:998:User for polkitd:/:/sbin/nologin
filename:/etc/passwd,linenumber:17,columns:7,linecontent:sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
filename:/etc/passwd,linenumber:18,columns:7,linecontent:postfix:x:89:89::/var/spool/postfix:/sbin/nologin
filename:/etc/passwd,linenumber:19,columns:7,linecontent:chrony:x:998:996::/var/lib/chrony:/sbin/nologin
filename:/etc/passwd,linenumber:20,columns:7,linecontent:neil:x:1000:1000::/home/neil:/bin/bash
filename:/etc/passwd,linenumber:21,columns:7,linecontent:tss:x:59:59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin
filename:/etc/passwd,linenumber:22,columns:7,linecontent:jenkins:x:997:993:Jenkins Automation Server:/var/lib/jenkins:/bin/false
filename:/etc/passwd,linenumber:23,columns:7,linecontent:tomcat:x:53:53:Apache Tomcat:/usr/share/tomcat:/sbin/nologin

示例3：自定义变量

[root@localhost py-test]# ls -l *.py
-rwxrw-r--. 1 neil neil 68 9月  28 14:43 helloworld.py
[root@localhost py-test]# ls -l *.py | awk '{print $5}'
68
[root@localhost py-test]# ls -l *.py | awk '{print $2}'
1
[root@localhost py-test]# ls -l *.py | awk '{s += $5} END {print s}'  
68
[root@localhost py-test]# 

示例4： 数组

[root@localhost awk-test]# cat test.txt
a
b
c
a
d
[root@localhost awk-test]# awk '{s[$1]+=1}END{for(i in s) print i "\t" s[i]}' test.txt
a       2
b       1
c       1
d       1

示例5： 正则表达式

[root@localhost awk-test]# cat test.txt
a
b
c
a
d
[root@localhost awk-test]# awk '/^a/{print}' test.txt      
a
a
[root@localhost awk-test]# awk '$1 !~ /^a/{print}' test.txt
b
c
d