awk 分隔符_awk 命令快速入门

awk 是一个强大的文本分析工具，可以非常方便地处理每行都是相同格式的文本，是Linux中功能强大的数据处理引擎之一。

grep命令快速入门

sed 命令快速入门

前面两篇分别示例了 grep/sed 的用法，这篇介绍 awk 的用法。

Linux 文本操作的三大神器：grep、sed、awk，各自的最佳应用场景：

• grep：使用正则表达式搜索文本，并把匹配的行打印出来，是强大的文本搜索工具；
• sed：用于编辑匹配到的文本，是一种流编辑器；
• awk：能够对文本进行复杂的格式处理，是一种处理文本的语言。

awk 可以进行样式装入、流控制、数学运算、流程控制，还有内置的变量和函数，具备一个完整语言所应具有的几乎所有完美特性，相当于一个小型编程语言。

awk 的三位创始者将其定义为：样式扫描和处理语言。

1、awk 的基本用法

awk 是以文件的一行为处理单位的，awk每接收文件的一行，就执行相应的命令。

基本命令格式：

awk '{pattern + action}' 

其中，pattern表示在数据中要查找的内容，action表示要执行的一系列命令。

awk 通过指定分隔符，将一行分为多个字段，依次用 $1、$2 ... $n 表示第一个字段、第二个字段... 第n个字段。

比如有一log文件，若只想获取 vel、acc、steer 的值，则可以通过下面的命令：

awk '{print $2, $4, $6}' log

2、awk 的分隔符

awk的默认分隔符是空格和制表符，上面的例子中，若希望把逗号去掉，则可以使用 -F 参数来指定分隔符，命令如下：

awk -F ':|,' '{print $2, $4, $6}' log

这里指定冒号(:)和逗号(,)同时作为分隔符。

3、awk 的内置变量

除了 $1、$2 ... $n，awk 还有一些内置变量，常用的如下：

• $0：表示当前整行，$1表示第一个字段，$2表示第二个字段，$n 表示第n个字段；
• NR：表示当前已读的行数；
• NF：表示当前行被分割的列数，NF表示最后一个字段，NF-1 表示倒数第二个字段；
• FILENAME：表示当前文件的名称

如下图所示，在每一行前加上文件名、行号、每行列数，命令如下：

awk '{print FILENAME, NR, NF, ":", $0}' log

4、条件判断

awk 的 pattern 也支持使用条件判断，比如只打印 vel 小于 5.0 的行，命令如下：

awk '$2 < 5.0 {print $0}' log

5、统计值的计算

awk 还可以快速计算出一些统计值，比如最大值，最小值，平均值等。

比如计算 vel 的最大值，命令如下：

awk -F ':|,' 'BEGIN {max=0} {if($2>max) max=$2} END {print "max vel:", max}' log

计算 acc 的最小值，命令如下：

awk -F ':|,' 'BEGIN {min=10} {if($4

计算 steer 的平均值，命令如下：

awk -F ':|,' 'BEGIN {sum=0} {sum+=$6} END {print "mean steer:", sum/NR}' log

上面命令中的 BEGIN 和 END 都是awk的关键字：

• BEGIN：表示在awk程序开始前执行一次；
• END：表示在awk程序结束后执行一次。

6、print和printf

awk 同时支持 print 和 printf 两种打印输出的函数。

• print：其参数可以是变量、数值或字符串，字符串必须用双引号，参数用逗号分开；
• printf：其用法与C语言的printf相似，可以格式化输出。

如下图所示，通过printf指定显示两位小数。