语        法：awk  -F ‘[分隔符]+’ ‘条件类型｛动作｝’   filename

功        能：把一行分成数个行进行处理；逐行扫描文件，从第一行到最后一行，寻找匹配的特定模式的行，并在这些行上进行你想要的操作。如果没有指定处理动作，则把匹配的行显示到标准输出(屏幕)，如果没有指定模式，则所有被操作所指定的行都被处理
常用参数：

-F            后面跟分隔符，可以加多个，默认为空格 取代FS    
                NR              到目前位置记录数
                NF              当前记录里域个数
模      式：

          模式可以是以下任意一个：

（1）正则表达式：使用通配符的扩展集。

          （2）关系表达式：可以用下面运算符表中的关系运算符进行操作，可以是字符（3）串或数字的比较，如$2>%1选择第二个字段比第一个字段长的行。

          （4）模式匹配表达式：用运算符~(匹配)和~!(不匹配)。

          （5）模式，模式：指定一个行的范围。该语法不能包括BEGIN和END模式。

          （6）BEGIN：让用户指定在第一条输入记录被处理之前所发生的动作，通常可在这里设置全局变量。

          （7）END：让用户在最后一条输入记录被读取之后发生的动作。

环境变量：

变量

描述

$n

当前记录的第n个字段，字段间由FS分隔。

$0

完整的输入记录。

ARGC

命令行参数的数目。

ARGIND

命令行中当前文件的位置(从0开始算)。

ARGV

包含命令行参数的数组。

CONVFMT

数字转换格式(默认值为%.6g)

ENVIRON

环境变量关联数组。

ERRNO

最后一个系统错误的描述。

FIELDWIDTHS

字段宽度列表(用空格键分隔)。

FILENAME

当前文件名。

FNR

同NR，但相对于当前文件。

FS

字段分隔符(默认是任何空格)。

IGNORECASE

如果为真，则进行忽略大小写的匹配。

NF

当前记录中的字段数。

NR

当前记录数。

OFMT

数字的输出格式(默认值是%.6g)。

OFS

输出字段分隔符(默认值是一个空格)。

ORS

输出记录分隔符(默认值是一个换行符)。

RLENGTH

由match函数所匹配的字符串的长度。

RS

记录分隔符(默认是一个换行符)。

RSTART

由match函数所匹配的字符串的第一个位置。

SUBSEP

数组下标分隔符(默认值是/034)。


运 算 符：

运算符

描述

= += -= *= /= %= ^= **=

赋值

?:

C条件表达式

||

逻辑或

&&

逻辑与

~ ~!

匹配正则表达式和不匹配正则表达式

< <= > >= != ==

关系运算符

空格

连接

+ -

加，减

* / &

乘，除与求余

+ - !

一元加，减和逻辑非

^ ***

求幂

++ --

增加或减少，作为前缀或后缀

$

字段引用

in

数组成员

记录和域：

记录

awk把每一个以换行符结束的行称为一个记录。

记录分隔符：默认的输入和输出的分隔符都是回车，保存在内建变量ORS和RS中。

$0变量：它指的是整条记录。如$ awk '{print $0}' test将输出test文件中的所有记录。$1表示第一个域,$n表示第n个域。

变量NR：一个计数器，每处理完一条记录，NR的值就增加1。

如$ awk '{print NR,$0}' test将输出test文件中所有记录，并在记录前显示记录号。

域

记录中每个单词称做“域”，默认情况下以空格或tab分隔。awk可跟踪域的个数，并在内建变量NF中保存该值。如$ awk '{print $1,$3}' test将打印test文件中第一和第三个以空格分开的列(域)。

域分隔符

内建变量FS保存输入域分隔符的值，默认是空格或tab。我们可以通过-F命令行选项修改FS的值。如$ awk -F: '{print $1,$5}' test将打印以冒号为分隔符的第一，第五列的内容。

可以同时使用多个域分隔符，这时应该把分隔符写成放到方括号中，如$awk -F'[:/t]' '{print $1,$3}' test，表示以空格、冒号和tab作为分隔符。

输出域的分隔符默认是一个空格，保存在OFS中。如$ awk -F: '{print $1,$5}' test，$1和$5间的逗号就是OFS的值。

匹配操作符(~)：

用来在记录或者域内匹配正则表达式。如$ awk '$1 ~/^root/' test将显示test文件第一列中以root开头的行

比较表达式：

conditional expression1 ? expression2: expression3，

例如：$ awk '{max = {$1 > $3} ? $1: $3: print max}' test。如果第一个域大于第三个域，$1就赋值给max，否则$3就赋值给max。

$ awk '$1 + $2 < 100' test。如果第一和第二个域相加大于100，则打印这些行。

$ awk '$1 > 5 && $2 < 10' test,如果第一个域大于5，并且第二个域小于10，则打印这些行。

范围模板：

范围模板匹配从第一个模板的第一次出现到第二个模板的第一次出现之间所有行。如果有一个模板没出现，则匹配到开头或末尾。如$ awk '/root/,/mysql/' test将显示root第一次出现到mysql第一次出现之间的所有行。


^:只匹配行首

$:只匹配行尾

*:一个单安符后面紧跟*，匹配0个或多个此单字符

[ ] :匹配一组字符串中的一个

\ : 转义安符

. :匹配任意单字符

.*：匹配任意字符

pattern\{n\} : 用来匹配前面pattern出现的次数，n为数次

pattern\{n,\} :用来匹配前面pattern出现的次数，但最少为n次

pattern\{n,m\}:用来匹配前面pattern出现的次数，但pattern出现次数必须在n与m之间

实     例：
以/etc/passwd文件为例：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
#输出/etc/passwd文件中开头3个用户使用的shell
[root@localhost log] # head -3 /etc/passwd|awk -F '[:]' '{print $7}'
/bin/bash
/sbin/nologin
/sbin/nologin
[root@localhost log] #
#输出/etc/passwd文件中开头3个用户使用的shell和对应的用户名，账户与shell之间以tab键分割
[root@localhost log] # head -3 /etc/passwd|awk -F '[:]' '{print $1"\t" $7}'
root     /bin/bash
bin /sbin/nologin
daemon   /sbin/nologin
[root@localhost log] #
#输出/etc/passwd文件中开头3个账户和账户对应的shell,而账户与shell之间以逗号分割,而且在所有行添加列名name,shell,在最后一行添加"blue,/bin/nosh"
[root@localhost log] # head -3 /etc/passwd|awk -F ':' 'BEGIN {print "name,shell"} {print $1","$7} END{print "bule,/bin/nosh"}'
name,shell
root, /bin/bash
bin, /sbin/nologin
daemon, /sbin/nologin
bule, /bin/nosh
[root@localhost log] #
#搜索/etc/passwd有root关键字的所有行
[root@localhost log] # awk -F ':' '/root/' /etc/passwd
root:x:0:0:root: /root : /bin/bash
operator:x:11:0:operator: /root : /sbin/nologin
[root@localhost log] #
#搜索/etc/passwd有root关键字的所有行，并显示对应的用户和shell
[root@localhost log] # awk -F ':' '/root/ {print $1"\t"$7}' /etc/passwd
root     /bin/bash
operator     /sbin/nologin
[root@localhost log] #

1
2
3
4
5
6
7
8
#统计/etc/passwd:文件名，每行的行号，每行的列数，对应的完整行内容:
[root@localhost log] # awk  -F ':'  '{print "filename:" FILENAME ",linenumber:" NR ",columns:" NF ",linecontent:"$0}' /etc/passwd
filename: /etc/passwd ,linenumber:1,columns:7,linecontent:root:x:0:0:root: /root : /bin/bash
filename: /etc/passwd ,linenumber:2,columns:7,linecontent:bin:x:1:1:bin: /bin : /sbin/nologin
filename: /etc/passwd ,linenumber:3,columns:7,linecontent:daemon:x:2:2:daemon: /sbin : /sbin/nologin
filename: /etc/passwd ,linenumber:4,columns:7,linecontent:adm:x:3:4:adm: /var/adm : /sbin/nologin
filename: /etc/passwd ,linenumber:5,columns:7,linecontent:lp:x:4:7:lp: /var/spool/lpd : /sbin/nologin
......

变量和赋值：

1
2
3
4
5
6
7
8
9
10
11
12
[root@localhost log] # awk 'BEGIN {count=0;print "[start]user count is ", count} {count=count+1;print $0;} END{print "[end]user count is ", count}' /etc/passwd
[start]user count is  0
.....
[end]user count is  36
##count是自定义变量。之前的action{}里都是只有一个print,其实print只是一个语句，而action{}可以有多个语句，以;号隔开。count初始化为0
#统计/etc/passwd文件夹下的文件占用的字节数
[root@localhost log] # ls -l /etc/passwd |awk 'BEGIN {size=0;} {size=size+$5;} END{print "[end]size is ", size}'
[end]size is  1706
[root@localhost log] # ls -l /etc/passwd |awk 'BEGIN {size=0;} {size=size+$5;} END{print "[end]size is ", size/1024/1024,"M"}'
[end]size is  0.00162697 M
[root@localhost log] #
#注意，统计不包括文件夹的子目录。

1
2
3
4
5
6
7
8
9
10
[root@localhost local ] # cat example
er1 password1 username1 unit1 10
user2 password2 username2 unit2 20
user3 password3 username3 unit3 30
[root@localhost local ] # awk '{if($5>20) {print $1}}' example.txt
user3
#逻辑判断逻辑判断的三个“|| && !” 或、与、非；如果第5列大于20或者等于10的都显示处理
[root@localhost local ] # awk '{if($5>20 || $5==10) {print $1}}' example.txt
er1
user3