Shell awk命令

awk报表生成器。功能：可以进行样式装入、流控制、数学运算符、进程控制语句甚至于内置的变量和函数。简单来说awk就是扫描文件中的每一行，查找与命令行中所给定内容相匹配的模式。如果发现匹配内容，则进行下一个编程步骤。如果找不到匹配内容，则继续处理下一行。

-F指定分割：awk -F"," '{print $1}'  /etc/passwd

内置变量：NF、$NF、NR、FNR、FS、OFS、RS、ORS

字符	说明	举例
FILENAME	awk浏览的文件名	awk ‘{print "print filename: " FILENAME}’ /etc/passwd
NF	字段个数，即读取的列数	awk '{print "NF："NF}' text
$NF	最后字段的值	awk '{print $NF}' text
NR	行号，从1开始，新文件不从1开始计数	awk '{if(NR>1)print "NR："NR }' text
FNR	行号，从1开始，新文件重新从1开始计数	awk '{print "FNR:"FNR}' text text2
FS	输入字段分隔符，默认空格，等价于命令行-F选项	awk 'BEGIN{FS=","}{print $1}' text
OFS	输出字段分隔符，默认空格	awk 'BEGIN{OFS=","}{print $1,$2}' text
RS	输入行分隔符，默认换行符	awk 'BEGIN{RS=","}{print}' text
ORS	输出行分隔符，默认换行符	awk 'BEGIN{ORS=","}{print}' text

示例

1、假设last -n 5的输出如下:

[root@localhost ~]# last -n 5
root     pts/0        192.168.123.1    Wed Dec 28 01:55   still logged in  
reboot   system boot  2.6.32-573.el6.x Tue Dec 27 04:25 - 03:11  (22:46)   
root     pts/1        192.168.123.1    Tue Dec 27 02:00 - 02:00  (00:00)   
root     pts/1        192.168.123.1    Tue Dec 27 01:59 - 02:00  (00:00)   
root     pts/0        192.168.123.1    Tue Dec 27 01:59 - down   (00:16)

2、只显示五个最近登录的账号：

[root@localhost ~]# last -n 5 | awk '{print $1}'
root
reboot
root
root
root

awk工作流程是这样的：读入有'\n'换行符分割的一条记录，然后将记录按指定的域分隔符划分域，填充域，$0则表示所有域,$1表示第一个域,$n表示第n个域。默认域分隔符是"空白键" 或 "[tab]键",所以$1表示登录用户，$3表示登录用户ip,以此类推

3、显示/etc/passwd的账户：

[root@localhost ~]# cat /etc/passwd |awk  -F ':'  '{print $1}'
root
bin
daemon
adm
lp

这种是awk+action的示例，每行都会执行action{print $1}。

-F指定域分隔符为':'

4、显示/etc/passwd的账户和账户对应的shell,而账户与shell之间以tab键分割

[root@localhost ~]# cat /etc/passwd |awk  -F ':'  '{print $1"\t"$7}'
root    /bin/bash
bin     /sbin/nologin
daemon  /sbin/nologin
adm     /sbin/nologin
lp      /sbin/nologin

5、BEGIN and END

如果只是显示/etc/passwd的账户和账户对应的shell,而账户与shell之间以逗号分割,而且在所有行添加列名name,shell,在最后一行添加"blue,/bin/nosh"。

cat /etc/passwd |awk  -F ':'  'BEGIN {print "name,shell"}  {print $1","$7} END {print "blue,/bin/nosh"}'

cat /etc/passwd | awk -F ':' 'BEGIN {print "name \t shell"} {print$1"\t"$7} END {print "blue,/bin/bash"}'

name,shell

root,/bin/bash

daemon,/bin/sh

....

blue,/bin/nosh

awk工作流程是这样的：先执行BEGIN，然后读取文件，读入有/n换行符分割的一条记录，然后将记录按指定的域分隔符划分域，填充域，$0则表示所有域,$1表示第一个域,$n表示第n个域,随后开始执行模式所对应的动作action。接着开始读入第二条记录••••••直到所有的记录都读完，最后执行END操作。

 

6、搜索/etc/passwd有root关键字的所有行

awk  -F:  '/root/'  /etc/passwd

root:x:0:0:root:/root:/bin/bash

这种是pattern的使用示例，匹配了pattern(这里是root)的行才会执行action(没有指定action，默认输出每行的内容)。

 

搜索支持正则，例如找root开头的: awk -F:  '/^root/'  /etc/passwd

搜索/etc/passwd有root关键字的所有行，并显示对应的shell

awk  -F ':'  '/root/{print $7}'  /etc/passwd             

/bin/bash

这里指定了action{print $7}

 

7、awk常见内置变量

统计/etc/passwd:文件名，每行的行号，每行的列数，对应的完整行内容

awk  -F ':'  '{print "filename:" FILENAME ",linenumber:" NR ",columns:" NF ",linecontent:"$0}' /etc/passwd

awk -F':' '{print "filename:" FILENAME ",linenumber:" NR ",colums:" NF "linecotent:" $0}' /etc/passwd

filename:/etc/passwd,linenumber:3,columns:7,linecontent:bin:x:2:2:bin:/bin:/bin/sh

filename:/etc/passwd,linenumber:4,columns:7,linecontent:sys:x:3:3:sys:/dev:/bin/sh

 

使用printf替代print,可以让代码更加简洁，易读

 awk  -F ':'  '{printf("filename:%s,linenumber:%s,columns:%s,linecontent:%s\n",FILENAME,NR,NF,$0)}' /etc/passwd

 

指定输入分隔符，指定输出分隔符：

awk 'BEGIN {FS=":"; OFS="\t"} {print $1, $2}' /etc/passwd

sshd    x

tcpdump x

linux   x

8、实用例子

A：打印最后一列：

awk -F: '{print $NF}' /etc/passwd

awk -F: '{printf("%s\n",$NF);}' /etc/passwd

 

B：统计文件行数：

awk 'BEGIN {x=0} {x++} END {print x}' /etc/passwd

 

C：打印9*9乘法表：

awk 'BEGIN{for(n=0;n++<9;){for(i=0;i++<n;)printf i"*"n"="i*n" ";print ""}}'

awk 'BEGIN {for(i=1;i<=9;i++){for(j=1;j<=i;j++){printf i"*"j"="i*j" ";}print ""}}'

awk 'BEGIN {for(i=9;i>=1;i--){for(j=i;j>=1;j--){printf i"*"j"="i*j" ";}print ""}}'

 

D：计算1-100之和：

echo "sum" | awk 'BEGIN {sum=0;} {i=0;while(i<101){sum+=i;i++}} END {print sum}'