awk 入门

AWK的类型

下面是几个AWK的变体：

• AWK – 原先来源于 AT & T 实验室的的AWK

• NAWK – AT & T 实验室的AWK的升级版

• GAWK – 这就是GNU AWK。所有的GNU/Linux发布版都自带GAWK，它与AWK和NAWK完全兼容

AWK的典型用途

使用AWK可以做很多任务，下面是其中一些

• 文本处理

• 输出格式化的文本报表

• 执行算数运算

• 执行字符串操作等等

工作流

要成为AWK编程专家，你需要先知道它的内部实现机制，AWK遵循了非常简单的工作流 – 读取，执行和重复，下图描述了AWK的工作流。

Read

AWK从输入流（文件，管道或者标准输入）中读取一行，然后存储到内存中。

Execute

所有的AWK命令都依次在输入上执行。默认情况下，AWK会对每一行执行命令，我们可以通过提供模式限制这种行为。

Repeat

处理过程不断重复，直到到达文件结尾。

程序结构

现在，让我们先学习一下AWK的程序结构。

BEGIN 语句块

BEGIN语句块的语法

BEGIN {awk-commands}

BEGIN语句块在程序开始的使用执行，它只执行一次，在这里可以初始化变量。BEGIN是AWK的关键字，因此它必须为大写，注意，这个语句块是可选的。

BODY 语句块

BODY语句块的语法

/pattern/ {awk-commands}

BODY语句块中的命令会对输入的每一行执行，我们也可以通过提供模式来控制这种行为。注意，BODY语句块没有关键字。

END 语句块

END语句块的语法

END {awk-commands}

END语句块在程序的最后执行，END是AWK的关键字，因此必须为大写，它也是可选的。

让我们创建一个包含序号，学生姓名，科目名称和得分的文件 marks.txt.

1)  Amit    Physics  80

2)  Rahul   Maths    90

3)  Shyam   Biology  87

4)  Kedar   English  85

5)  Hari    History  89

下面的例子中我们将会显示文件内容，并且添加每一列的标题

$awk 'BEGIN{printf "No  Name    Sub     Marks\n"} {print}' marks.txt

上述代码执行后，输出以下内容

No  Name    Sub     Marks
1)  Amit    Physics  80
2)  Rahul   Maths    90
3)  Shyam   Biology  87
4)  Kedar   English  85
5)  Hari    History  89

在程序的开始，AWK在BEGIN语句中打印出标题。然后再BODY语句中，它会读取文件的每一行然后执行AWK的print命令将每一行的内容打印到标准输出。这个过程会一直重复直到文件的结尾。

基础语法

AWK的使用非常简单，我们可以直接在命令行中执行AWK的命令，也可以从包含AWK命令的文本文件中执行。

AWK命令行

我们可以使用单引号在命令行中指定AWK命令

awk [options] file ...

比如我们有一个包含下面内容的文本文件 marks.txt:

1)  Amit    Physics  80
2)  Rahul   Maths    90
3)  Shyam   Biology  87
4)  Kedar   English  85
5)  Hari    History  89

我们可以使用下面的命令显示该文件的完整内容

$awk '{print}' marks.txt

AWK程序文件

我们可以使用脚本文件提供AWK命令

AWK标准选项

AWK支持下列命令行标准选项

-v 变量赋值选项

该选项将一个值赋予一个变量，它会在程序开始之前进行赋值，下面的例子描述了该选项的使用

--dump-variables[=file] 选项

该选项会输出排好序的全局变量列表和它们最终的值到文件中，默认的文件是 awkvars.out。

--help 选项

打印帮助信息.

Usage: awk [POSIX or GNU style options] -f progfile [--] file ...
Usage: awk [POSIX or GNU style options] [--] 'program' file ...
POSIX options:		GNU long options: (standard)
	-f progfile		--file=progfile
	-F fs			--field-separator=fs
	-v var=val		--assign=var=val
Short options:		GNU long options: (extensions)
	-b			--characters-as-bytes
	-c			--traditional
	-C			--copyright
	-d[file]		--dump-variables[=file]
	-e 'program-text'	--source='program-text'
	-E file			--exec=file
	-g			--gen-pot
	-h			--help
	-L [fatal]		--lint[=fatal]
	-n			--non-decimal-data
	-N			--use-lc-numeric
	-O			--optimize
	-p[file]		--profile[=file]
	-P			--posix
	-r			--re-interval
	-S			--sandbox
	-t			--lint-old
	-V			--version

--lint[=fatal] 选项

该选项允许检查程序的不兼容性或者模棱两可的代码，当提供参数 fatal的时候，它会对待Warning消息作为Error。

$ awk --lint '' /bin/ls 
awk: cmd. line:1: warning: empty program text on command line
awk: cmd. line:1: warning: source file does not end in newline
awk: warning: no program text at all!

--posix 选项

该选项开启严格的POSIX兼容。

--profile[=file]选项

该选项会输出一份格式化之后的程序到文件中，默认文件是 awkprof.out。

--traditional 选项

该选项会禁止所有的gawk规范的扩展。

--version 选项

输出版本号

基本使用示例

本部分会讲述一些有用的AWK命令和它们的使用示例，所有的例子都是以下面的文本文件 marks.txt 为基础的。

在文件marks.txt中，第三列包含了科目名，第四列则是得分，上面的例子中，我们只打印出了这两列，$3 和 $4 代表了输入记录中的第三和第四个字段。

打印所有的行

默认情况下，AWK会打印出所有匹配模式的行

打印匹配模式的列

当模式匹配成功时，默认情况下AWK会打印该行，但是也可以让它只打印指定的字段。例如，下面的例子中，只会打印出匹配模式的第三和第四个字段。

$ awk '/a/ {print $3 "\t" $4}' marks.txt 
Maths	90
Biology	87
English	85
History	89

任意顺序打印

$ awk '/a/ {print $4 "\t" $3}' marks.txt 
90	Maths
87	Biology
85	English
89	History

统计匹配模式的行数

$ awk '/a/ {++cnt} END{print "Count = ", cnt}' marks.txt
Count =  4

打印第二列超过18个字符的行

awk 'length($2) > 4' marks.txt
2)  Rahul   Maths    90
3)  Shyam   Biology  87
4)  Kedar   English  85

内建变量

AWK提供了很多内置的变量，它们在开发AWK脚本的过程中起着非常重要的角色。

标准AWK变量

ARGC 命令行参数个数

命令行中提供的参数个数

ENVIRON 环境变量

环境变量的关联数组

NF 字段数目

OFS 输出字段分隔符

输出字段分隔符，默认为空

$ awk 'BEGIN {print "OFS = " OFS}' | cat -vte
OFS =  $

ORS 输出行分隔符

默认值为换行符

awk 'BEGIN {print "ORS = " ORS}' | cat -vte
ORS = $
$

RSTART

match函数匹配的第一次出现位置

$ awk 'BEGIN {if (match("One Two Three", "Thre")) {print RSTART}}' 
9

$0 代表了当前行

$ awk '{print $0}' marks.txt 
1)  Amit    Physics  80
2)  Rahul   Maths    90
3)  Shyam   Biology  87
4)  Kedar   English  85
5)  Hari    History  89

$n

当前行中的第n个字段

GNU AWK的变量

ARGIND

当前被处理的ARGV的索引

BINMODE

在非POSIX系统上指定对所有的文件I/O采用二进制模式。

FIELDWIDTHS

设置了空格分隔的字段宽度变量列表的话，GAWK会将输入解析为固定宽度的字段，而不是使用FS进行分隔。

IGNORECASE

设置了这个变量的话，AWK会忽略大小写。

$ awk 'BEGIN{IGNORECASE=1} /AMIT/' marks.txt 
1)  Amit    Physics  80

LINT

提供了对–lint选项的动态控制。

$ awk 'BEGIN {LINT =1; a}'
awk: cmd. line:1: warning: reference to uninitialized variable `a'
awk: cmd. line:1: warning: statement has no effect

PROCINFO

包含进程信息的关联数组， 例如UID, 进程ID等

$ awk 'BEGIN { print PROCINFO["pid"]}'
13838

TEXTDOMAIN

代表了AWK的文本域， 用于查找字符串的本地化翻译

$ awk 'BEGIN {print TEXTDOMAIN}'
messages

操作符

与其它编程语言一样，AWK也提供了大量的操作符。

算数操作符

算数操作符不多说，直接看例子，无非就是+-*/%

增减运算符

自增自减与C语言一致。

赋值操作符

关系操作符

逻辑操作符

$ awk 'BEGIN{num=5; if ( num >=0 && num<=7) printf "%d is in actal format\n", num}'
5 is in actal format
$ awk 'BEGIN {ch = "\n";if(ch == "" || ch == "\t" || ch == "\n") print "Current character is whitespace" }'
Current character is whitespace
$ awk 'BEGIN { name=""; if ( ! length(name)) print "name is empty string "}'
name is empty string 

三元操作符

$ awk 'BEGIN { a = 10; b = 20; (a>b)? max=a:max=b; print "Max = ", max}'
Max =  20

一元操作符

$ awk 'BEGIN { a = -10; a = +a; print "a = ", a}'
a =  -10

$ awk 'BEGIN { a = -10; a = -a; print " a =", a}'
a = 10

指数操作符

$ awk 'BEGIN {a = 10; a = a^2; print "a=", a}'
a= 100
$ awk 'BEGIN { a = 10; a ^=2; print "a=", a}'
a= 100

字符串连接操作符

$ awk 'BEGIN {str1 = "Hello, "; str2 = "World"; str3 = str1  str2; print str3}'
Hello, World

数组成员操作符

$ awk 'BEGIN {arr[0] = 1; arr[1]=2; arr[2]=3; for (i in arr) printf "arr[%d] = %d\n", i, arr[i]}'
arr[0] = 1
arr[1] = 2
arr[2] = 3

正则表达式操作符

正则表达式操作符使用 ~ 和 !~ 分别代表匹配和不匹配。

$ awk '$0 ~ 9' aa.txt 
2)  Rahul   Maths    90
5)  Hari    History  89
$ awk '$0 !~ 9' aa.txt 
1)  Amit    Physics  80
3)  Shyam   Biology  87
4)  Kedar   English  85

更多关于正则表达式请看后面的正则表达式部分

正则表达式

AWK在处理正则表达式方面是非常强大的，使用简单的正则表达式可以处理非常复杂的问题。

$ echo -e "cat\nnbat\nfun\nfin\nfan" | awk '/f.n/'
fun
fin
fan
$ echo -e "This\nThat\nThere\nTheir\nthese" | awk '/^The/'
There
Their
$ echo -e "knife\nknow\nfun\nfin\nfan\nnine" |awk '/n$/'
fun
fin
fan
$ echo -e "Call\nTall\nBall" | awk '/[CT]all/'
Call
Tall
$ echo -e "Call\nTall\nBall" | awk '/[^CT]all/'
Ball
$ echo -e "Call\nTall\nBall\nSmall\nShall" | awk '/Call|Ball/'
Call
Ball
$ echo -e "Colour\nColor" | awk '/Colou?r/'
Colour
Color
$ echo -e "ca\ncat\ncatt" | awk '/cat*/'
ca
cat
catt
$ echo -e "111\n22\n123\n234\n456\n222" | awk '/2+/'
22
123
234
222
$ echo -e "Apple Juice\nApple Pie\nApple Tart\nApple Cake" | awk '/Apple [Juice | Cake]/'
Apple Juice
Apple Cake

数组

AWK支持关联数组，也就是说，不仅可以使用数字索引的数组，还可以使用字符串作为索引，而且数字索引也不要求是连续的。数组不需要声明可以直接使用，语法如下：

在AWK中，只支持一维数组，但是可以通过一维数组模拟多维，例如我们有一个3×3的三维数组

100	200	300
400	500	600
700	800	900
$ awk 'BEGIN{ array["0,0"] = 100; array["0,1"] = 200; array["0,2"] = 300; array["1,0"]= 400; array["1,1"] = 500; array["1,2"] = 600; print "array[0,0] = " array["0,0"]; print "array[0,1] = " array["0,1"]; print "array[0,2] = " array["0,2"]; print "array[1,0] = " array["1,0"]; print "array[1,1] = " array["1,1"]; print "array[1,2] = " array["1,2"]}'
array[0,0] = 100
array[0,1] = 200
array[0,2] = 300
array[1,0] = 400
array[1,1] = 500
array[1,2] = 600

流程控制

流程控制语句与大多数语言一样，基本格式如下

循环

循环操作与其他C系语言一样，主要包括 for，while，do...while，break，continue 语句，当然，还有一个exit语句用于退出脚本执行。

exit用于退出脚本，参数为退出的状态码，可以通过shell中的$?获取

函数

内建函数

AWK提供了很多方便的内建函数供编程人员使用。由于函数比较多，个人觉得单纯看每个函数的使用也没有什么实际意义，比较容易遗忘，因此，这里只简单的列出常用的一些函数，只需要对其有个印象即可，使用的时候再去查手册 效果会更好一些吧。

数学函数

• atan2(y, x)

• cos(expr)

• exp(expr)

• int(expr)

• log(expr)

• rand

• sin(expr)

• sqrt(expr)

• srand([expr])

字符串函数

• asort(arr [, d [, how] ])

• asorti(arr [, d [, how] ])

• gsub(regex, sub, string)

• index(str, sub)

• length(str)

• match(str, regex)

• split(str, arr, regex)

• sprintf(format, expr-list)

• strtonum(str)

• sub(regex, sub, string)

• substr(str, start, l)

• tolower(str)

• toupper(str)

时间函数

• systime

• mktime(datespec)

• strftime([format [, timestamp[, utc-flag]]])

字节操作函数

• and

• compl

• lshift

• rshift

• or

• xor

其它

用户自定义函数

函数是程序基本的组成部分，AWK允许我们自己创建自定义的函数。一个大型的程序可以被划分为多个函数，每个函数之间可以独立的开发和测试，提供可重用的代码。

下面是用户自定义函数的基本语法

输出重定向

重定向操作符

到目前为止，我们所有的程序都是直接显示数据到了标准输出流，其实，我们也可以将输出重定向到文件。重定向操作符跟在print和printf函数的后面，与shell中的用法基本一致。

管道

除了将输出重定向到文件之外，我们还可以将输出重定向到其它程序，与shell中一样，我们可以使用管道操作符|。

第一次I/O操作使用了|&操作符，gawk会创建一个到运行其它程序的子进程的双向管道，print的输出被写入到了subprogram的标准输入，而这个subprogram的标准输出在gawk中使用getline函数进行读取。

注意：目前协同进程的标准错误输出将会和gawk的标准错误输出混杂在一起，无法单独获取标准错误输出。另外，I/O缓冲可能存在问题，gawk程序会自动的刷新所有输出到下游的协同进程的管道。但是，如果协同进程没有刷新其标准输出的话，gawk将可能会在使用getline函数从协同进程读取输出的时候挂起，这就可能引起死锁。

我们可以使用close函数关闭双向管道的to或者from一端，这两个字符串值告诉gawk发送数据到协同进程完成时或者从协同进程读取完毕时关闭管道。在使用系统命令sort的时候是这样做是非常必要的，因为它必须等所有输出都读取完毕时才能进行排序。

上例看起来有些复杂，我们逐行分析一下

• 首先，第一行 cmd = “tr [a-z] [A-Z]” 是在AWK中要建立双向连接的命令

• 第二行的print命令用于为tr命令提供输入，而 |& 用于指出要建立双向连接

• 第三行用于在上面的语句close(cmd, “to”),在执行完成后关闭其to进程

• 第四行 cmd |& getline out使用getline函数存储输出到变量out中

• 最后一行使用close函数关闭命令

美化输出

到目前为止，我们已经使用过print和printf函数显示数据到标准输出，但是printf函数实际上要比我们之前使用的情况更加强大得多。该函数是从C语言中借鉴来的，在处理格式化的输出时非常有用。

格式化输出标识有 %c， %d，%s 等，基本与C语言一致，这里就不多赘述了。

执行shell命令

在AWK中执行shell命令有两种方式

• 使用system函数

• 使用管道

使用system函数

system函数用于执行操作系统命令并且返回命令的退出码到awk。

使用管道

如果要执行的命令很多，可以将输出的命令直接用管道传递给“/bin/sh”执行

参考

• AWK Tutorial

• The GNU Awk User’s Guide

来源：伯乐在线 -mylxsw