shell脚本——流编辑器“三剑客”之awk命令

一、awk

1、工作原理

• 逐行读取文本，默认以空格或TAB键为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命令。
• sed命令常用于一整行的处理，而awk比较倾向于将一行分成多个“字段”然后再进行处理。
• awk信息的读入也是逐行读取的，执行结果可以通过print的功能将数据字段打印显示。
• 在使用AWK命令的过程中，可以使用逻辑操作符 “&&” 表示 ”与“ 、 ”||“ 表示 “或” 、 “！” 表示 “非” ；还可以进行简单的数学运算，比如+、-、*、/、%、^，分别表示加、减、乘、取、余和乘方。

2、命令格式

awk 选项 '模式或条件{操作}' 文件1 文件2.....
awk -f 脚本文件 文件1 文件2 ......

3、awk常见的内建变量（可直接用）

内建变量	说明
FS	列分隔符。指定每行文本的字段分隔符，默认为空格或制表位。与 -F 作用相同
NF	当前处理的行的字段个数
NR	当前处理的行的行号（序数）
$0	当前处理的行的整行内容
$n	当前处理的行的第n个字段（第n列）
FILENAME	被处理的文件名
RS	行分隔符。awk从文件上读取资料时，将根据RS的定义把资料切割成许多条记录，而awk一次仅读入一条记录，以进行处理。预设值是’\n’

4、按行输出文本

awk '{print}' testfile1     #输出所有内容
awk '{print $0}' testfile1     #输出所有内容

awk 'NR==1,NR==3  {print}' testfile1     #输出第1~3行内容
awk '(NR>=1)&&(NR<=3)  {print}' testfile1  #输出第1~3行内容

awk 'NR==1||NR==3  {print}' testfile1    #输出第1行、第3行内容

awk ' (NR%2)==1  {print}' testfile1     #输出所有奇数行的内容
awk ' (NR%2)==0  {print}' testfile1       #输出所有偶数行的内容

awk '/^root/  {print}'   /etc/passwd       #输出以root 开头的行

awk '/nologin$  /{print}'   /etc/passwd       #输出以nologin 结尾的行

awk 'BEGIN {x=0};/\/bin\/bash$/{x++};END {print x}' /etc/passwd     #统计以/bin/bash结尾的行数，等同于grep -c ”/bin/bash$" /etc/passwd
BEGIN模式表示，在处理指定的文本之前，需要先执行BEGIN模式中指定的动作；awk再处理指定的文本，之后再执行END模式中指定的动作，END{}语句块中，往往会放入打印结果等语句

5、按字段输出文本’:’

awk -F ":" '{print $3}' /etc/ passwd         #输出每行中(以空格或制表位分隔)的第3个字段

awk -F ":" '{print $1,$3}' /etc/passwd         #输出每行中的第1、3个字段

awk -F ":" '$3<5 {print $1,$3}' /etc/passwd       #输出第3个字段的值小于5的第1、3个字段内容

awk -F ":"  '!($3<200) {print}' /etc/passwd        #输出第3个字段的值不小于200的行

awk 'BEGIN {FS=":"}; {if($3>=1000) {print}}' /etc/passwd          #先处理完BEGIN的内容，再打印文本里面的内容

awk -F ":" '{max=($3>=$4)?$3:$4;{print max}}' /etc/ passwd      #($3>$4) ?$3:$4

awk -F ":" '{print NR,$0}' /etc/passwd         #输出每行内容和行号，每处理完一条记录，NR值加1

awk -F ":" '$7~"/bash"{print $1}' /etc/passwd       #输出以冒号分隔且第7个字段中包含/bash的行的第1个字段

awk -F ":" '($1~"root") && (NF==7) {print $1,$2}' /etc/passwd        #输出第1个字段中包含root且有7个字段的行的第1、2个字段

awk -F ":” '($7!="/bin/bash")&&($7!="/sbin/nologin") {print}' /etc/passwd    #输出第7个字段既不为/bin/bash，也不为/sbin/nologin的所有行内容

6、通过管道、双引号调用shell命令

echo $PATH  I awk 'BEGIN {RS=":"}; END {print NR}'    #统计以冒号分隔的文本段落数，END{}语句块中，往往会放入打印结果等语句

awk  -F :  ' /nologin$/ {print | "wc -l"}' /etc/passwd                  #调用wc -l命令统计以nologin为结尾的个数,等同于grep -c "nologin$" /etc/passwd

free -m | awk ' /Mem:/ {print int ($3/ ($3+$4) *100)"%"}'            #查看当前内存使用百分比

 top -b -n1 | awk -F, '/%Cpu/ {print $4}' | awk '{print $1}'
           #查看当前CPU空闲率，(-b -n 1表示只需要1次的输出结果)

 df | awk '$NF=="/" {print $5}'         #查看根目录已使用率是多少

date +%Y-%m-%d                #查看当前系统时间（年月日）
date +"%Y%m%d %H:%M:%S"                #查看当前系统时间（年月日，时分秒）
date -d "-1 month"  +"%Y%m%d"                #查看今天的上个月是多少号
date -d "1 month ago"  +"%Y%m%d"             #查看今天的上个月是多少号
date  +"%Y%m01"                                 #查看当月的1号
date -d "1 month ago"  +"%Y%m01"                #查看上个月的1号
date -d "$(date +%Y%m01) - 1 day" +%Y%m%d       #查看上个月月尾是多少号
date -d "$(date -d "1 month" +%Y%m01) - 1 day" +%Y%m%d       #查看当月月尾是多少号

date -d "$(awk -F "."  '{print $1}'  /proc/uptime) second ago" +"%F %H:%M:%S"    #显示上次系统重启时间，等同于uptime; second ago为显                            示多少秒前的时间，+"%F %H: %M: %S"等同于+"%Y-%m-%d %H: %M: %S"的时间格式

awk 'BEGIN {n=0 ; while ("w” 1 getline) n++ ; {print n-2}}'                      #调用w命令,并用来统计在线用户数

awk 'BEGIN {"hostname" | getline ; {print $0}}'                                  #调用hostname, 并输出当前的主机名 

显示当前系统时间
%Y%m%d 年 月 日

当getline左右无重定向符“<”或“1”时，awk首 先读取到了第一-行， 就是1，然后getline，就得到了1下面的第二行，就是2，因为getline之后，awk会改变对应的NF，NR，FNR和$0等内部变量，所以此时的$0的值就不再是1，而是2了，然后将它打印出来。
当getline左右有重定向符“<”或“|”时，getline则作用 于定向输入文件，由于该文件是刚打开，并没有被awk读入- -行，只是getline读入，那么getline返回的是该文件的第一行，而不是隔行。

seq 10 | awk '{getline; print $0}'
seq 10 | awk '{print $0; getline}'

echo "A B C D" | awk '{OFS="|";print $0;$1=$1;print $0} '
A B C D
A|B|C|D