AWK

【awk是什么，工作流程】

awk是一个强大的文本分析工具。把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。

 

【awk的格式】

awk '{pattern + action}' {filenames}

pattern 表示 AWK 在数据中查找的内容，如正则表达式，用斜杠括起来。

action 是在找到匹配内容时所执行的一系列命令。

花括号（{}）不需要在程序中始终出现

 

【调用方式】

有三种方式调用awk

1.命令行方式

2.shell脚本方式

3.将所有的awk命令插入一个单独文件，然后调用：

 

【awk内置变量】

ARGC         命令行参数个数

ARGV         命令行参数排列

ENVIRON      支持队列中系统环境变量的使用

FILENAME     awk浏览的文件名

FNR          浏览文件的记录数

FS         设置输入域分隔符，等价于命令行 -F选项

NF           浏览记录的域的个数--行数

NR          已读的记录数--列数

OFS         输出域分隔符

ORS         输出记录分隔符

RS          控制记录分隔符

 

【例子】

last 列出目前与过去登入系统的用户相关信息。

$0则表示所有域,$1表示第一个域,$n表示第n个域。默认域分隔符是"空白键" 或 “[tab]键”

-----显示最近登录的5个帐号(账号在第一个字段，空格为分隔符)

last -n 5 | awk  '{print $1}'

 

---显示/etc/passwd的账户(账号在第1字段，冒号分隔)

cat /etc/passwd |awk  -F ':'  '{print $1}'

 

----显示/etc/passwd的账户和账户对应的shell,而账户与shell之间以tab键分割（shell在第7字段）

cat /etc/passwd |awk  -F ':'  '{print $1"\t"$7}'

 

----显示/etc/passwd的账户和账户对应的shell,而账户与shell之间以逗号分割,而且在所有行添加列名name,shell,在最后一行添加"blue,/bin/nosh"。

cat /etc/passwd |awk  -F ':'  'BEGIN {print "name,shell"}  {print $1","$7} END {print "blue,/bin/nosh"}'

awk工作流程是这样的：先执行BEGING，然后读取文件，处理数据，最后执行END操作。

 

----搜索/etc/passwd有root关键字的所有行'/root/'就是pattern，匹配了pattern(这里是root)的行才会执行action(没有指定action，默认输出每行的内容)。

awk -F: '/root/' /etc/passwd

 

-----找root开头的

awk -F: '/^root/' /etc/passwd

 

----搜索/etc/passwd有root关键字的所有行，并显示对应的shell(shell是第7字段)

awk -F: '/root/{print $7}' /etc/passwd            

 

----统计/etc/passwd:文件名，每行的行号，每行的列数，对应的完整行内容:

awk  -F ':'  '{print "filename:" FILENAME ",linenumber:" NR ",columns:" NF

awk  -F ':'  '{printf("filename:%10s,linenumber:%s,columns:%s,linecontent:%s\n",FILENAME,NR,NF,$0)}' /etc/passwd

printf函数，其用法和c语言中printf基本相似

 

----统计/etc/passwd的账户人数

没有初始化：awk '{count++;print $0;} END{print "user count is ", count}' /etc/passwd

有初始化：awk 'BEGIN {count=0;print "[start]user count is ", count} {count=count+1;print $0;} END{print "[end]user count is ", count}' /etc/passwd

 

----统计某个文件夹下的文件占用的字节数(字节数在第5个字段)

B为单位：ls -l |awk 'BEGIN {size=0;} {size=size+$5;} END{print "[end]size is ", size}'

MB为单位：ls -l |awk 'BEGIN {size=0;} {size=size+$5;} END{print "[end]size is ", size/1024/1024,"M"}'

 

----统计某个文件夹下的文件占用的字节数,过滤4096大小的文件(一般都是文件夹):

ls -l |awk 'BEGIN {size=0;print "[start]size is ", size} {if($5!=4096){size=size+$5;}} END{print "[end]size is ", size/1024/1024,"M"}'

 

----显示/etc/passwd的账户，行号+账号方式显示

awk -F ':' 'BEGIN {count=0;} {name[count] = $1;count++;}; END{for (i = 0; i < NR; i++) print i, name[i]}' /etc/passwd