awk操作应用

简介

   awk是数据处理工具也是报告生成工具。相比于sed常常作用于一整行的处理，awk则比较倾向于将一行分为数个字段来处理。因此，awk相当适合处理小型的数据处理。默认情况下awk将下面的变量分配给在文本行中检测到的每个数据字段：$0:表示整行文本；$1:表示文本行中的第一个数据字段；$2：表示文本行中的第二个数据字段；$n:表示文本行中的第n个数据字段。

awk用法格式是：awk [options]‘模式类型1{动作1}’FILE1...

常用选项

选项	描述
-F FS	指定描述一行中的数据字段的文件分隔符
-f awk_script	指定读取程序的文件名，可指定载入脚本
-v VAR_VALUE	定义awk程序中使用的变量和默认值

模式类型

空模式：没有指定任何模式，遍历文件中的每一行

1 2 3 4 5 6

[root@zhao ~] # awk -F: '{print $1,$7}' /etc/passwd root  /bin/bash bin  /sbin/nologin daemon  /sbin/nologin adm  /sbin/nologin lp  /sbin/nologin

BEGIN模式：在执行所有awk脚本动作之前执行的预设类（准备）的工作

1 2 3 4 5 6 7

[root@zhao ~] # awk -F: 'BEGIN {print "USERNAME  SHELL"}{print $1,$7}' /etc/passwd USERNAME  SHELL                #使用BEGIN模式设定的预设字符 root  /bin/bash bin  /sbin/nologin daemon  /sbin/nologin adm  /sbin/nologin lp  /sbin/nologin

小拓展：分隔符包含字段分隔符（默认为空白符）和行分隔符（默认为换行符）其中使用FS：指定输入分隔符也是awk的内置变量；OFS指定输出分隔符；NF指定最后一个字段。

   FS：指定输入分隔符

1 2 3 4 5 6

[root@zhao ~] # awk  'BEGIN {FS=":"}{print $1,$7}' /etc/passwd root  /bin/bash bin  /sbin/nologin daemon  /sbin/nologin adm  /sbin/nologin lp  /sbin/nologin

   OFS：指定输出分隔符

1 2 3 4 5 6

[root@zhao ~] # awk  'BEGIN {FS=":";OFS="*********"}{print $1,$7}' /etc/passwd root********* /bin/bash bin********* /sbin/nologin daemon********* /sbin/nologin adm********* /sbin/nologin lp********* /sbin/nologin

   NF：指定最后一个字段

1 2 3 4 5 6

[root@zhao ~] # df -lh | awk '!/^File/{printf"%-25s %s\n",$1,$NF}' /dev/mapper/vg0-root       / tmpfs                      /dev/shm /dev/sda1                  /boot /dev/mapper/vg0-usr        /usr /dev/mapper/vg0-var        /var

END模式：在awk脚本动作执行完成之后做的简单的收尾操作，主要用于统计使用

1 2 3 4 5 6 7 8

[root@zhao ~] # awk  'BEGIN {FS=":";OFS="***";print "USERNAME   SHELL"}{print $1,$7}END {print "********END******"}' /etc/passwd USERNAME   SHELL root*** /bin/bash bin*** /sbin/nologin daemon*** /sbin/nologin sshd*** /sbin/nologin tcpdump*** /sbin/nologin ********END******

正则表达式：（格式：/PATTERN/）表示对于被正则表达式匹配到的行进行操作，而并非所有行

1 2 3 4 5 6 7

[root@zhao ~] # awk -F: '/in$/{print $1,$7}' /etc/passwd bin  /sbin/nologin daemon  /sbin/nologin adm  /sbin/nologin lp  /sbin/nologin mail  /sbin/nologin uucp  /sbin/nologin

表达式：其值非0或为非空字符时满足条件，如：$1 ~ /foo/ 或 $1 == "magedu"

   支持使用~(匹配)和!~(不匹配)，>=,<=,>,< 等所有比较操作符

1 2 3 4 5 6 7

[root@zhao ~] # awk -F: '$3>=50{print $1,$3}' /etc/passwd nobody 99 dbus 81 usbmuxd 113 vcsa 69 rtkit 499 avahi-autoipd 170

   支持逻辑关系操作符

1 2 3

[root@zhao ~] # awk -F: '$3>=500 && $7~/bash/{printf "%-15s %i %s\n",$1,$3,$7}' /etc/passwd user1           500  /bin/bash user2           501  /bin/bash

指定匹配范围，格式为pat1，pat2

这个匹配模式类型很难理解，我们用一个例题来解析：

  eg：匹配一个文件中以abc开头aaa结尾的字段

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

[root@zhao ~] # awk '/abc/,/aaa/{print $0}' awk.sh abc 3          #开始 cde 4 aaa 5          #结束 abc 6          #开始 aab 7 axd 8 hell0 9 aaa 10         #结束 abc how are you aaa      #开始结束 abc 12          #开始 sss ddd sxd xvf            #无结尾字段会直接遍历到文件尾部

输出动作介绍

 1、print

   print的使用格式：print item1， item2, ...

   要点：

     （1）、各项目之间使用逗号隔开，而输出时则以空白字符分隔；

     （2）、输出的item可以为字符串或数值、当前记录的字段(如$1)、变量或awk的表达式；数值会先转换为字符串，而后再输出；

     （3）、print命令后面的item可以省略，此时其功能相当于print $0, 因此，如果想输出空白行，则需要使用print""；

2、printf

    printf命令的使用格式：printf format, item1, item2,...

    要点：

      （1）、其与print命令的最大不同是，printf需要指定format；

      （2）、format用于指定后面的每个item的输出格式；

      （3）、printf语句不会自动打印换行符；\n

      其中format格式的指示符都以%开头，后跟一个字符；如下：

      %c: 显示字符的ASCII码；

      %d, %i：十进制整数；

      %e, %E：科学计数法显示数值；

      %f: 显示浮点数；

      %g, %G: 以科学计数法的格式或浮点数的格式显示数值；

      %s: 显示字符串；

      %u: 无符号整数；

      %%: 显示%自身；

    在输出格式上常用修饰符：

       N: 显示宽度；

       -: 左对齐（默认为右对齐）；

       +：显示数值符号；

eg：

1 2 3 4 5 6 7

[root@zhao ~] # awk -F: '{printf "%-15s %i\n",$1,$3}' /etc/passwd root            0 bin             1 daemon         2 adm            3 lp              4 sync             5

控制语句的使用

常见类型：if;while; for; case; do...while; break; continue; next

（1）、if-else

   语法：if (condition){then-body} else {[else-body]}

   解析：condition是判断条件通常为布尔表达式或逻辑表达式

1 2 3 4 5 6 7 8

[root@zhao ~] # awk -F: '{if ($3==0) {print $1, "Adminitrator";} else { print $1,"Common User"}}' /etc/passwd root Adminitrator bin Common User daemon Common User adm Common User lp Common User sync  Common User shutdown  Common User

1 2	[root@zhao ~]# awk -F: -v sum= 0  '{if ($3>=500) sum++}END{print sum}'  /etc/passwd 3                #所有UID大于 500 的用户个数

（2）、while

   首先说明在awk中的循环不是循环每一行的而是循环切片之后的每一个字段的

   语法： while(condition){statement1; statment2; ...}

1 2 3 4 5 6 7

[root@zhao ~] # awk -F: '{i=1;while (i<=3) {print $i;i++}}' /etc/passwd root            #i=1时输出第一个字段 x               #i=2时输出第二个字段 0               #i=3时输出第三个字段 bin             #第二行... x 1

1 2 3 4 5 6

[root@zhao ~] # awk -F: '{i=1;while (i<=NF) { if (length($i)>=4) {printf "%s ", $i}; i++ ;};printf "\n"}' /etc/passwd root root  /root  /bin/bash /bin  /sbin/nologin daemon daemon  /sbin  /sbin/nologin /var/adm  /sbin/nologin /var/spool/lpd  /sbin/nologin

解析：length是awk的内置函数，获取字段的长度的；而这里length($i)指的是$i字段的长度。

（3）、do-while

   和while循环的区别：while循环是当条件不满足时不会执行任何循环操作，而do-while是不论条件真假与否首先执行一次循环体，然后再去判断条件满足与否，满足继续执行不满足不再执行。也就是说不管条件满足与否，至少执行一次循环体。

   语法： do{statement1, statement2, ...} while (condition)

1 2 3 4 5 6

[root@zhao ~] # awk -F: '{i=4;do {print $i;i--}while(i>4)}' /etc/passwd 0 1 2 4 7

解析：此命令中的while循环并不成立但是还是执行了print$4这就是do-while的体系结构若还不太明白可对比使用：[root@zhao ~]# awk -F: '{i=4;while (i>4){print $i;i--}}'/etc/passwd此命令执行之后不会有任何执行结果。

（4）、for

   语法： for ( 初始赋值; condition（变量条件）;修正变量（初始值）) { statement1, statement2, ...}

1 2 3 4 5 6 7 8

[root@zhao ~] # awk -F: '{for(i=1;i<=3;i++) print $i}' /etc/passwd root x 0 bin x 1 daemon

（5）、case

  语法：switch(expression) { case VALUE or /REGEXP/: statement1, statement2,... default:statement1, ...}

 由于此语句不常使用所以不做深入研究，有意学习者请参考其他文章

（6）、break 和 continue

  常用于循环或case语句中，具体使用方法和bash中基本类似，所以此处不做重点阐述

（7）、next

  这个为awk的独有命令，表示提前结束对本行文本的处理，并接着处理下一行；

  例如，显示其ID号为奇数的用户：

1 2 3 4 5 6 7 8

[root@zhao ~] # awk -F: '{if($3%2==0) next;print $1,$3}' /etc/passwd bin 1 adm 3 sync  5 halt 7 operator 11 gopher 13 nobody 99

（8）、数组应用

   数组：一组连续的可存储多个值内存空间，可使用数组索引（下标）来引用数组。

   语法：array[index-expression]

     index-expression可以使用任意字符串；需要注意的是，如果某数据组元素事先不存在，那么在引用其时，awk会自动创建此元素并初始化为空串；因此，要判断某数据组中是否存在某元素，需要使用index in array的方式。

若遍历数组中的每一个元素，需要使用如下的特殊结构：

语法：for (var in array) {statement1, ... }

其中，var用于引用数组下标，而不是元素值；

1 2 3 4 5 6

[root@zhao ~] # awk -F: '$NF!~/^$/{BASH[$NF]++}END{for(A in BASH){printf "%15s:%i\n",A,BASH[A]}}' /etc/passwd   /sbin/shutdown :1        /bin/bash :3    /sbin/nologin :31       /sbin/halt :1        /bin/sync :1

解析：$NF为最后一个字段，^$表示为空，BASH[$NF]表示下标为$NF数组，也就是说可能出现BASH[/bin/bash]等

awk的内置函数使用与介绍

• split(string, array[, fieldsep [, seps ] ])

  解析：将string表示的字符串以fieldsep为分隔符进行分隔，并将分隔后的结果保存至array为名的数组中；数组下标为从1开始的序列；

1 2 3 4

[root@zhao ~] # netstat -tan | awk '/:80\>/{split($5,clients,":");ip[clients[4]]++}END{for(a in ip) print ip[a],a}' | sort -rn | head -50 100 172.16.18.11 1 * ##########此命令在不开启IPv6的centos6.4上执行的###########

例题解析：split($5,clients,":")是使用冒号分割将第5段保存到clients数组中；IP[clients[1]]++}提取第一部分（IP地址）保存到IP这个变量中；{for(iin IP){print IP[i],i}}遍历IP地址并显示次数和IP地址；sort -rn 根据次数进行逆向排序，head -5O只取前50个。

  例：取出当前使用比例已经大于20%的文件系统

1 2	[root@zhao ~] # df -lh | awk '!/^File/{split($5,percent,"%");if(percent[1]>=20){print $1}}' /dev/mapper/vg0-usr

• length([string])

   解析：返回string字符串中字符的个数；

• substr(string, start[, length])

   解析：取string字符串中的子串，从start开始，取length个；start从1开始计数；

• system(command)

   解析：执行系统command并将结果返回至awk命令

• systime()

  解析：取系统当前时间

• tolower(s)

  解析：将s中的所有字母转为小写

• toupper(s)

  解析：将s中的所有字母转为大写

---

       至此awk的应用知识基本阐述完毕，如有错误或无阐述到位的问题请留言注明，大家的支持是我学习路上前进的动力！！

本文转自 z永 51CTO博客，原文链接:http://blog.51cto.com/pangge/1286728