Linux三剑客——awk

作用

awk是一个强大的文本分析工具，其主要工作原理就是将文件内容逐行读取，按照分隔符进行切片，切成多个组成部分，然后将每片保存到内建的变量中。如果指定了模式的话，根据模式匹配是否处理此行内容，若此行文本符合模式，则按照动作处理文本。

以上介绍到了几个关键词，分别是模式和动作，具体意思会放在后面介绍 。

在上面的文本中，通过分隔符将文本内容切割成多个列，那么如果想获取某个列怎么办呢 ？就可以使用$加上第几列的数量就可以。具体如下：

• $0 : 代表所有数据
• $1 : 代表第一列
• $2 : 代表第二列
• $n : 代表第n列
  需要注意的是，若切割出的第n列已经没有数据，你继续输出的话就输出了空行 。
  

awk早期就以在Unix上实现了，现在Linux上所使用的awk其实是gawk,也就是GNU

awk，简称为gawk。而在Linux中所使用的是awk其实就是链接到了gawk中了。

语法

awk [options] 'Pattern {Action}' file

对以上各指令的解析：

• awk是固定的语法，在Linux下也可以使用gawk代替
• 其中options为选项，在awk中支持的选项介绍具体见“选项”小结
• 其中Pattern为模式，在awk中支持的模式介绍有见“模式”小结
• 其中Action为要执行的命令，在awk中支持action介绍见"动作"小结
• file为文本文件，需要注意的是awk读取的文件流不一定是要跟的这个file，也可以是通过管道输出的结果作为文件流。

变量

在介绍完awk的语法之后，我们有必要先了解下awk变量，因为无论是options还是Pattern，都会使用到变量。对于awk来说 ，主要包括内置变量和自定义变量两种。

• 内置变量：变量名已经定义好了，一般情况下一会给一个默认值 ，当然我们也可以自定义变量的值 。
• 自定义变量 ： 用户自己去定义变量的名字和变量的值 。

变量的定义格式：var_name = value

内置变量

变量使用也非常简单，直接使用变量名即可，具体如下：

自定义变量

自定义变量，简单来说就是用户自己定义的变量。在awk中有两种方式可以自定义变量。

方式1：使用-v参数，定义格式为：-v var_name = value .

方式2：在BEGIN模式中定义 。

以上的两种方式，目前还没有涉及到，故我们在下面内容中讲解 。

注意：定义变量最终的目的是要使用变量，那么在awk中怎么使用呢 ？ 答案就是使用处直接写变量的名字就可以得到变量的值了 。那么变量一般会在哪使用呢 ？ 在后面要讲解到的模式和动作都会用到 。

选项

所谓的选项，就是awk后面的options，一般都是通过减号(-) 加上一个英文字符组成，不同英文字符代表不同的意思 。在awk中支持的选项参数也有很多，放在方括号内([])代表这个选项是可选的。这里主要介绍最常用的。

• -F : 指明用于分割内容的分隔符，若不加该参数，默认使用空格分割
• -v : 自定义变量，具体格式为：var_name = value .
• -f : 调用脚本。

-F 选项

以下是对-F参数的说明,在此案例中使用英文点(.)作为分隔符，通过分隔符将文本内容分隔成多个部分。

-v 选项

在上面我们介绍-v可以自定义变量，自定义变量时，变量名可以是内置变量也可以用户自己定义的变量名 ，具体定义方式如下：

2）自己定义变量名进行定义

模式

所谓的模式，其实就是Pattern的部分，我们可以将模式理解为条件，在前面介绍到awk是逐行处理的，那怎么判断哪行该处理？哪行不该处理呢 ？答案就是这个模式，当匹配到的模式就是要处理的行，而不匹配的行就会被跳过。

另外，Pattern部分一定要放在引号当中，一般使用单引号引起来。一条awk指令可以包括0个模式或多个模式 ；如果后面有Action ，中间用空格隔开 。

Pattern主要包括以下几个部分：

• BEGIN模式：初始化代码块，即开始处理文本前要执行的操作 。
• END模式：收尾工作，即处理文本之后要执行的操作
• 关系表达式模式 ：相当于条件判断，满足条件的就会执行后面的‘动作’，而这里就支持各种运算符，如比较运算符，算数运算符等。
• 空模式 ：此模式会匹配文本的每一行，也就是每一行满足条件 。
• 正则模式：通过正则进行匹配，匹配后的将会执行后面的动作 。
• 行范围模式 ：处理pattern1到pattern2之间(不包含pattern2) 。从pattern1匹配的行开始，到pattern2匹配的行结束 。

BEGIN模式

在前面介绍到，BEGIN模式是在处理文本之前的动作，在声明BEGIN时，后面括号内的语句就是BEGIN要执行的操作，

END模式

指定了处理完文本内容之后执行的操作，也就是进行一些收尾工作

空模式

空模式其实就是不设置任何模式或条件 ，也就是说对文本的每一行需要执行的处理就是空模式，简单来说空模式就是对行不做过滤处理，具体如下：

关系表达式模式

所谓的关系表达式模式是指包含表达式的模式，通过该表达式对文本行进行过滤处理 。

• 表达式可以是比较表达式，也可以是赋值运算符

• 同时支持的操作符也是
  以下为比较表达式
  
  awk支持的比较运算符还包括：

• x < y : 小于

• x <= y :小于等于

• x > y : 大于

• x >= y :大于等于

• x == y : 等于

• x != y ：不等于

• x ~ y : 匹配正则y为真

• x !~ y : 不匹配正则y为真

以下为赋值表达式

awk支持的赋值运算符包括：

• x = y ： 赋值
• x += y : 先加后赋值
• x -= y : 先减后赋值
• x *= y : 先乘后赋值
• x /= y : 先除后赋值
• x %= y :先取余后赋值
• x^= y:先次方后赋值
• x ** y : 先次方后赋值
• x ++ :对x+1
• x – : 对x-1

支持的算数运算符：

• x+y :加法
• x-y :减法
• x*y : 乘法
• x/y : 除法
• x%y :取余
• x^y : 次方(效果和**一样)
• x**y : 次方

支持布尔类型：

• 非0值为true

• 非空字符串为true

• 其余为为false
  
  支持的逻辑操作符：

• x && y： 两者都满足返回true

• x || y ：一个满足返回true

• ! x : x若返回假，则返回true

除了以上支持的各种运算符外，awk还支持函数调用，条件语句，循环语句

正则模式

所谓的正则模式，其实就是使用正则表达式作为的模式 。所以要想使用这个模式，我们就得熟悉正则表达式，如果你还是对正则表达式不太熟悉，可参考第一章的正则表达式。

使用正则表达式也有一定的规则，具体如下：

awk '/正则表达式/{Action}' file

行范围模式

行范围模式，是使用正则表达式来匹配两个关键字之间行的数据，如果这个关键字在文本中出现过多次，那么也会匹配出多次 。它的使用规则如下：

awk '/正则1/,/正则2/{Action}' file

动作

所谓的动作，就是Action 的部分，在Action部分主要包括如下几个部分。

在Action中，虽然看语法写的是一个Action，但是在括号内可以有多个执行语句 ；也可以直接编写多个Action动作 。

• print ：打印语句
• printf ：同样为打印语句，但是可以进行格式化
• 条件语句 ：可以进行条件判断
• 循环语句 ：可以进行循环.

print语句

在上面已经多次使用到，使用print语句可以输出变量值，在这里就不再赘述 。

printf语句

和print语句类似，但是比print语句更加强大，它的主要作用是可以对文本进行格式化处理，其语法格式为：

printf format,item1,item2 ...

• format用于指定后面每个item的输出格式
• format一般输入的是格式符+修饰符+一些字符组成的字符串(见下)，同时需要用双引号引起来
• fromat和item都需要用逗号隔开
• printf语句不会自动换行，若要进行换行，需通过\n

格式符

• %f : 显示为浮点数
• %g,%G: 以科学数法或浮点形式显示数值
• %s: 显示字符串
• %u: 无符号整数
• %%: 显示%号自身，相当于转义

修饰符

• N : 显示宽度
• -: 左对齐（默认为右对齐）
• +: 显示数值符号
  

条件语句

如果学习过编程语言，都知道在编程语言中有if …else语句 ，那么对于awk来说，也是支持if … else 。在awk支持如下三种情况：

• if(条件){执行语句1；执行语句2}
• if(条件){执行语句1} else {执行语句2}
• if(条件1){执行语句1} else if(条件2){执行语句2} else{执行语句3}

对于以上代码做个简单说明：

• 第一种情况：如果条件为真，执行大括号{}内的语句
• 第二种情况：如果条件为真，执行语句1；否则执行语句2
• 第三种情况：如果条件1为真，执行语句1，否则如果条件2为真，执行语句2，否则，执行语句3

循环语句

在awk中，支持的for循环也有三种，分别是for, while,do … while .具体如下：

# for循环语法格式1:
for(初始化;布尔表达式;自增减){
    //执行代码
}
# 实例
for(i=0;i<=10;i++){print i}
# 说明    
1.初始化变量的值
2.开始执行布尔表达式，如果为真，执行后面的打印语句
3.进行+1
4.重复执行第2，3步骤

# for循环语法格式2：
for(变量 in 数组){
    //执行代码
}
#实例
for(i in arrname){
    print i,arrname[i]
}

# while循环语法格式
while(布尔表达式){
    //执行代码
}
#实例
while(i<=10){print i}
# 说明    
1.执行条件判断，若为真，执行后面打印语句
2.重复循环第1步骤

# do ... while循环语法
do{
    //执行代码
}while(条件)
#实例
do{print "helloworld";i++}while(i<=3)
# 说明
1.先执行打印语句，然后再自加1
2.执行条件判断，若为真，继续执行打印语句，然后再自加1，依次循环，直到条件变为假。

当然除了以上的循环外，我们还可以在跳过本次循环，或者断开循环 . 分别使用的关键词为：

• 跳过循环：continue
• 断开循环：break
  

实例

以下练习主要使用abc.log文本进行练习；

[root@localhost test]# cat abc.log 
drwxr-xr-x.  20 root root  3360 9月  29 05:19 dev
drwxr-xr-x.   3 root root    20 9月  14 03:08 docker_registry
drwxr-xr-x.   2 root root    41 9月  17 06:23 docker_study
drwxr-xr-x. 151 root root 12288 9月  29 05:20 etc
drwxr-xr-x.   3 root root    18 9月  10 06:57 home
lrwxrwxrwx.   1 root root     7 9月  10 06:12 lib -> usr/lib
lrwxrwxrwx.   1 root root     9 9月  10 06:12 lib64 -> usr/lib64
drwxr-xr-x.   2 root root     6 4月  11 2018 media
drwxr-xr-x.   2 root root    21 9月  19 21:51 mnt

输出第一，第二列数据，中间不空格

输出第1,3,5列数据，以制表符进行分割

显示每行有多少字段

将列数大于等于10的行打印出来
显示第5，第7行的数据

打印出包含etc的行

打印出含有etc或者home的行

打印输出第二列小于5的行

打印第一列中不是以目录开头的行

显示文件中第9个字段包含dev的行的第1和第9个字段

显示文件中第9个字段不包含dev的行的第1和第9个字段

如果第2列以两个数字结束就打印这个记录。

如果第2列等于1或者第7列小于15，则打印该行。

如果第2列大于5则打印？后面的表达式值，否则打印冒号后面的表达式值。