awk命令的基本使用

awk定义：

awk是一门编程语言，它支持条件判断、数组、循环等功能。所以，我们也可以把awk理解成一个脚本语言解释器。在处理庞大文件时不会出现内存溢出或是处理缓慢的问题，通常用来格式化文本信息。

一、awk的脚本语法

awk 程序通常由：BEGIN语句块、program、 END语句块，共3部分组成。

awk [options] 'BEGIN{ action;… } pattern{ action;… } END{ action;… }' file

program又可以细分成pattern和action

pattern 决定动作语句何时触发及触发事件

比如说可以使用正则表达式，总之就是读取进来数据会满足指定条件
pattern语句块中的通用命令是最重要的部分，也是可选的。
如果没有提供pattern语句块，则默认执行{ print }，即打印每一个读取到的行，awk读取的每一行都会执行该语句块

• action 对满足指定条件数据进行处理，放在{}内指明

常用的2个动作就是打印到屏幕咯 print, printf(格式化输出)。如果没有指定action动作，默认的动作就是 print

BEGIN语句块在awk开始从输入流中读取行之前被执行，END语句块在awk从输入流中读取完所有的行之后即被执行，pattern语句块中的通用命令是最重要的部分，都是一个可选语句块如果没有提供pattern语句块，则默认执行{ print }，即打印每一个读取到的行。

如下更详细解答：

awk [-F|-f|-v] 'BEGIN{} //{command1; command2} END{}' file

解析：

-F 指定分隔符（会确定分隔域位置如：$1、$2）
-f 调用脚本
-v 定义变量 var=value
BEGIN   初始化代码块，在对每一行进行处理之前，初始化代码，主要是引用全局变量，设置FS分隔符
//           匹配代码块，可以是字符串或正则表达式
{}           命令代码块，包含一条或多条命令
；          多条命令使用分号分隔
END      结尾代码块，在对每一行进行处理之后再执行的代码块，主要是进行最终计算或输出结尾摘要信息

关键点：

域分隔符
$0           表示整个当前行
$1           每行第一个字段
NF          分隔后的字段数量（假设一行内容以:分隔符分隔成3段/列，则$NF=3，倒数第二个字段可以写为$(NF-1)）

NR          每行的记录号，多文件记录递增
FNR        与NR类似，不过多文件记录不递增，每个文件都从1开始
\t            制表符
\n           换行符
FS          定义分隔符变量，默认分隔后以单个空格为界。awk -v FS="@"等价于awk -F "@"，如例3
RS       输入的记录分隔符， 默认为有换行符，以RS后接的分隔符分隔，换行输出，如例2
~            匹配，与==相比不是精确比较
!~           不匹配，不精确比较
==         等于，必须全部相等，精确比较
!=           不等于，精确比较
&&　     逻辑与
||             逻辑或
+            匹配时表示1个或1个以上
/[0-9][0-9]+/   两个或两个以上数字
/[0-9][0-9]*/    一个或一个以上数字
FILENAME 文件名
OFS        输出字段分隔符， 打印的结果默认以空格分隔，如例4
ORS         输出的记录分隔符，默认为换行符,即处理结果也是一行一行输出到屏幕，替换换行符，如例1
-F'[:#/]'   定义三个分隔符

测试文件test：

one:@aaa@bbb@ccc
two:@ddd@eee@fff

例1：ORS 输出的记录分隔符

awk -v ORS="打印在换行位置" '{print $0}' test
#注意等于=左右不要有空格

例2：RS 输入的记录分隔符

awk -v RS="@" '{print $0}' test
#等价于：awk 'BEGIN{RS="@"} {print $0}' test

例3：FS 定义分隔符变量

awk -F ":" '{print $2,$3}' test

例4：OFS 输出字段分隔符

awk -F ":" -v OFS="===" '{print $1,$2}' test
awk -v FS="@" '{print $2,$3}' test

二、awk语句

测试文件 passwd.txt:

root:x:0:0:root:/root:/bin/bash

bin:x:1:1:bin:/bin:/sbin/nologin

daemon:x:2:2:daemon:/sbin:/sbin/nologin

一、print输出

1、打印 以root行首的行记录,并打印以:分隔后的，前4列位置的值，结尾打印file output complete结束。

awk -F: 'BEGIN {print "user","passwd","UID","GID"}/^root/{print $1,$2,$3,$4}END{print "file output complete" }' passwd.txt

解析：
BEGIN {print “user”,“passwd”,“UID”,“GID”} 在awk开始从输入流中读取行之前被执行，打印这些定义的名称：user passwd UID GID
/^root/ 是语句的 pattern部分，触发的条件。正则表达式，以root行首
{print $1,$2,$3,$4} 是语句的 action部分，执行动作。 打印以:分隔后的，前面4个位置的值
END{print “file output complete” } END语句块在awk从输入流中读取完所有的行之后即被执行

2、与分隔后的某个位置内容匹配后，再打印输出内容

awk -F ":" '$1 ~ "root" {print NR,$1,$2,$3,$4,$5}' passwd.txt

注意：
1、正则表达式中含/aa/bb这种内容时，需要进行转义//aa/bb/
2、多个正则表达式，awk / 正则表达式1 /,/ 正则表达式2 /{动作}
3、打印所有连接6379端口的ip、以及对应的个数

ss -nt|grep 6379 |grep ESTAB|awk 'NR>1{split($5,ip,":")s[ip[1]]++} END{for (i in s) print i,"conn counts-->",s[i];}'

二、printf格式化输出

1、 在awk中使用printf动作时，指定的"格式"与列($1)之间需要用"逗号"隔开2、在awk中使用printf动作时，指定的"格式"与列($N)需要一一对应

例1、

echo "A B C D"|awk '{printf "%3s%s\n",$1,$2}'
echo "A B C D"|awk '{printf "%s\t%s\n",$1,$2}'
echo "A B C D"|awk '{printf "%s\n%s\n",$1,$2}'