原创：http://blog.csdn.net/skydreamer01/article/details/3600628
AWK学习笔记
1 AWK简介
AWK是Alfred V.Aho, Peter J.Weinberger，Brian W.Kerninghan三人在1977设计和实施的，最初是为了试验Unix中的grep和sed工具怎样可以一般化地在文本之外还能处理数据（grep和sed主要是文本处理工具，但AWK同时善于处理文本与数据）。AWK名字的来源是创造此语言的三个人的名字首字母缩写。它的主要来源是grep, sed和C。后继者主要有Perl。
AWK非常适合于处理格式化的文本和数据，比如改变数据的格式、验证其合法性、寻找某些属性的项、数字求和、输出数据报表等。数据的结构化越强，使用AWK会越方便。相比于sed，它有字段（sed只有行而没有内置的字段模型）和数字处理功能。相比于C和Perl，由于它自动化了某些处理流程（比如读取文件和分割字段），可以使得某些任务以比C和Perl少得多的代码来完成。
2 AWK编程模型
AWK程序的基本使用语法如下：
awk [-v var=value] -Fre 'pattern { action }' var=value datafile(s)
awk [-v var=value] -Fre -f scriptfile var=value datafile(s)
用命令行与用脚本文件(scriptfie)是等价的。一般来说，若pattern、action的代码量比较大，倾向于使用脚本文件。
对于以上语法说明如下：
l -v 选项定义的变量在脚本运行之前即存在，可以在脚本的BEGIN流程中被调用；
l 命令行参量（不用-v定义的）只有到输入的第一行读入时才有效，即其在BEGIN流程中无效；
l -F选项将字段分割符(FS)设为一个正则表达式re；
l datafile(s)可以是单个文件，也可以是多个文件，可使用正则表达式）。如果用“-”（不包括引号）表示从命令行输入。
l 命令行输入‘pattern{action}’时单引号是必不可少的！不要忘记。pattern和action都是可选的，但是不能都省略。省略pattern时默认匹配所有行；省略action时默认为输出整行。为了分别pattern和action, action需要用{}括起来。
脚本文件的一般格式为：
BEGIN{
…
}
pattern1 { action1 }
pattern2 { action2 }
…
END{
…
}
这也说明了AWK的编程模型：程序开始处理BEGIN流程（一般是设置分隔符、定义变量以及输出信息行等），然后进入主循环，读入数据每一行，本行数据设为$0, 行数为NR(某一文件的行数为FNR),同时根据FS变量将$0切分为NF个字段，分别用$1,$2,…,$NF标识。程序对每一行用pattern进行匹配，若匹配上则运行action。在所有行处理完后， 程序将
处理END流程（一般是进行后期处理，输出综合结果等）。
说明：
l 程序默认的字段分割符(FS)是“[ /t]+”（Tab或空格），输出分割符(OFS)是“ ”，（空格），默认记录分隔符(RS)是“/n”,可根据需要在命令行或BEGIN中修改；
l pattern可以是以下四种格式：
（1） 表达式（expression）. 在表达式为真时执行action.
（2） 正则表达式(/regular expression/), 正则表达式匹配上时执行action.
（3） 复合模式(compound pattern),用 &&(AND), ||(OR),!(NOT)和括号组合出的模式，组合模式为真时执行action.
（4） 范围模式（pattern1,pattern2），从pattern1匹配上的行，直到pattern2匹配上的行，包括这两行。如果pattern2一直没有匹配上，则到文件的末尾。
l action默认一行一条指令，可包括多行。如果需要在一行中包括多个语句，需要用分号(；)分割开。但是一行一个语句则不需要加分号。这里有与C语言相同又有不同的地方，请注意区别。
3 常量与转义符
AWK的常量有字符由字符串常量与数值常量组成，字符串常量含引号，而数值常量没有。
AWK的转义符如下：
| 符号 | 描述 |
| /a | 警告字符，通常是 ASCII BEL字符 |
| /b | 退行 |
| /f | Formfeed |
| /n | 换行 |
| /r | 回车 |
| /t | TAB |
| /ddd | 八进制 |
| /c | 任何字符 c 比如/"代表" |
4. 变量
AWK的变量包括用户定义变量（User-defined Variables）、系统变量(System Variables)和字段变量（Field Variables）
分别说明如下：
4.1用户定义变量
AWK的变量不需要声明，也不需要初始化，直接使用。每一个变量同时有一个字符值和数值，AWK根据上下文环境决定作为数值或字符串处理，这是AWK极其独特之处。AWK自动将变量初始化为空值，如果用作数字将作为0。如果需要强制使用字符串，可使用number “”（空格在AWK中是字符串连接符），若需要强制用作数值，可以用 string + 0。
另外应注意，在AWK中，$表示字段，用户变量不需要加$，这是AWK与shell或者Perl不同之处！在shell中，变量定义时不加$，再次引用时则需要用$，而在Perl中，无论定义和引用时都需要加$(Perl中$表示标量，另有@和%符号表示数组和Hash变量)。
4.2系统变量
AWK中包括两种系统变量:默认值可被改变的变量和处理过程中变量。AWK的系统变量列表如下：
| 变量 | 意 义 | 默认值 |
| FS | 字段分割符 | “[ /t]+” |
| OFS | 输出字段分隔符 | “ ” |
| RS | 记录分割符 | ”/n” |
| ORS | 输出记录分隔符 | ”/n” |
| OFMT | 输出数字格式 | ”%.6g” |
| CONVFMT | 控制数值向字符串转换 | ”%.6g” |
|
|
|
|
| NF | 字段数 | - |
| NR | 当前输入记录数（总数），只有到END时，NR才等于总记录数 | - |
| FNR | 当前文件的相对记录数 |
|
| FILENAME | 当前输入文件名 |
|
| ARGC | 命令行参数数目 |
|
| ARGV | 命令行参数数组 |
|
| ARGIND | 当前处理文件的ARGV指数，FILENAME==ARGV[ARGIND]总是真的 |
|
| ENVIRON | 环境变量数组 |
|
| RSTART | match()匹配到的初始位置 |
|
| RLENGTH | match()匹配到的字符串长度 |
|
| SUBSEP | 数组分隔符。将(I,J) 转换为 I SUBSEP J, 模拟多维数组用 |
|
| ERRNO # | 在getline时遇到错误的字符串 |
|
| PROCINFO | awk进程信息数组,指标可以使egid, euid, gid ,pgrpid, pid, ppid, uid, version |
|
| RT # | 每一条记录读入时RS匹配到的字符串 |
|
注意：
l ARGV数组由ARGV[0] ,…,ARGV[ARGC-1]组成，第一个元素指标是0而不是1。这与AWK中的一般数组不同，而与C一致。
l ENVIRON数组在shell与AWK的交互中非常有用。
4.3字段变量
从$1,$2一直到$NF，整行用$0标识。注意，如果$0被赋予新值，所有的$1, $2,..和NF都会被重新计算。同样，若$i,被改变，$0将用OFS重新计算。
5 数组
AWK提供一维数组来存储字符串和数值。数组和数组元素不需要声明，也不需要指定元素个数。AWK特别之处是数组下标总是字符串型的，所以AWK数组总是关联数组（Associative Arrays），相当于Perl的Hash Array。这一点是AWK区别于C及Perl之处。C的数组下标是整数，Perl分别普通数组和Hash数组。
遍历数组的命令是：
for (variable in array)
statement
注意数组下标的输出次序是依赖于AWK的实现的！
测试数组中是否存在某元素的命令是：
if ( subscript in A )
注意如果用if (A[subscript] == “” ) 命令，将可能创建一个新元素！
删除数组元素的命是：delete array[subscript]
用 for ( i in array) delete array[i] ; 可以删除所的有元素，但是新版的gawk可以用简单的delete array；命令删除整个数组。
AWK的多维数组是用一维数组来模拟的。比如，可以用
for (i = 1; i <=10; i++)
for (j = 1; j <=10; j++)
arr[i, j ] = 0
if ((i, j) in arr) 方式来使用多维数组。AWK实际用arr[i SUBSEP j]来代替arr[i,j]。
如果要实现多维数组的循环，可以采取以下方式：
for (k in arr) {
split(k, x, SUBSEP)
i=x[1]
j=x[2]
…(i,j)
}
6 操作符
AWK的操作符基本与C语言相同，但也有些例外。按优先级从低至高列表如下：
| 操 作 | 符 号 | 说 明 |
| 赋值 | = += -= *= /= %= ^= | ^=是特别的操作符，C没有 |
| 条件 | ?: |
|
| 逻辑或 | || |
|
| 逻辑与 | && |
|
| 数组元素 | in | if (i in a ) |
| 匹配 | ~ ！~ | C没有 |
| 关系 | < <= == != >= > |
|
| 字符串连接 | (blank) | “a” “ab” (=”abc”) |
| 加减 | + - |
|
| 乘除求模 | * / % |
|
| 单目加减 | + - | -x 正负 |
| 逻辑非 | ！ | !$1 |
| 开方 | ^ (**) | 有些现代版本的awk可以用** |
| 自加、自减 | ++ -- | ++x x++ |
| 字段运算符 | $ | $i 第i字段 |
| 括号 | () |
|
7 流程控制
AWK的流程控制基本沿用C的流程控制语句，但是没有do until, switch语句。AWK的流程控制语句如下：
{ statement }
if (expression) statement
if (expression ) statement1 else statment2
while (expression ) statement
for(expression1; expression2;expression3) statement
do statement while (expression)
for (variable in array) statement （这是AWK特别的对于数组中每个变量循环）
break (退出while for do循环)
continue (下一while for do 循环)
next (AWK特别的指令，开始进入下一主输入循环，处理下一行记录，非常有用)
exit
exit expression （马上进入END流程；如果在END流程内，结束程序，以expression值为返回值）
8 函数
AWK的函数包括系统函数和自定义函数。系统函数又可分为算术函数和字符串函数
8．1 算术函数
| 函 数 | 说 明 |
|
|
|
| cos(x) |
|
| sin(x) |
|
| int(x) | 求整，截去而不是四舍五入 |
| log(x) |
|
| exp(x) |
|
| sqrt(x) |
|
| atan2(y,x) | Argtan(y/x) |
| rand() |
|
| srand() |
|
8．2 字符串函数
| 函 数 | 说 明 |
| index(s,t) | 返回t在s中的第一个位置，如果没找到返回0 |
| length(s) | 返回s的字符个数 |
| substr(s,p) | 返回s中从p开始的所有字符串 |
| substr(s,p,n) | 返回s中从p开始的n个字符 |
| gsub(r,s) | 替换$0中所有的正则表达式r为字符串s,返回替换数 |
| gsub(r,s,t) | 替换字符串t中所有的正则表达式r为字符串s |
| sub(r,s) | 替换$0中左边最长的匹配r的子串 |
| sub(r,s，t) | 替换t中左边最长的匹配r的子串 |
| split(s,a) | 用FS切割字符串s为数组a,返回字段数 |
| split(s,a,fs) | 用fs切割字符串s为数组a,返回字段数 |
| spintf(fmt,expr-list) | 格式化输出 |
| match(s,r[,array]) | 搜索s,匹配r，设置变量RSTART和RLENGTH |
| strtonum(str) | GAWK扩展，返回str的数组，可认八进制(0开头)和十六进制(0x开头) |
| asort(source|,desc) | GAWK扩展，对数组内容排序，若指定desc,拷贝排序内容到desc,source,返回元素个数 |
| asorti(source|,desc) | GAWK扩展。按指标进行排序 |
| tolower(string) | 转换为小写 |
| toupper(string) | 转换为大写 |
| dcgettext(string[,domain], [,category]) | GAWK国际化函数 |
| dcngettext(string1,string2, number[,domain][,category] [,category]) | GAWK国际化函数 |
| bindtextdomain(directory [,domain] | 指定信息转换信息的目录 |
8．3 字节处理函数
| 函 数 | 说 明 |
| and(v1,v2) | GAWK扩展，与 |
| or(v1,v2) | GAWK扩展，或 |
| xor(v1,v2) | GAWK扩展，异或 |
| compl(val) | GAWK扩展,val的位补函数 |
| lshift(val,count) | GAWK扩展,左移 |
| rshift(val,count) | GAWK扩展,右移 |
8．4 时间函数
| 函 数 | 说 明 |
| systime() | GAWK扩展，timestamp,1970年开始的时间戳 |
| mktime(datespec) | 将“YYYY MM DD HH MM SS [DST]”格式的string转化为时间戳 |
| strftime(format [,timestamp]) | 转化timestamp为字符串,默认format是“%a %b %d %H:%M:%S %Z %Y”,格式与ISO C 1999的定义一致。 |
8．5自定义函数
用户定义函数的格式是：
function name(parameter-list){
statement
}
AWK自定义函数的变量是带值传递，数组是以引用方式传递。另一特别的地方是没在参数列表的变量是全局的。因此定义函数私有变量的方式是将其将入到变量列表中。
9 输入输出
9.1输出
AWK的输出语句如下：
| 语句 | 说 明 |
| | 在标准输出输出 $0 |
| print expression, expression, … | 以OFS分隔输出expressions |
| print expression, expression, … >filename | 输出到文件filename中 |
| print expression, expression, … >>filename | 追加到文件filename中 |
| print expression, expression, … |command | 输出到command的标准输入中 |
| printf(format,expression, expression, …) | 带格式输出 |
| printf(format,expression, expression, …) >filename | 带格式输出 |
| printf(format,expression, expression, …) >>filename | 带格式输出 |
| printf(format,expression, expression, …) |command | 带格式输出 |
| close(filename), close(command) | 中断print与filename或command的联系 |
| system(command) | 执行任务command |
其中printf的格式定义与C相同。
9.2输入
AWK的输入有命令行文件输入，也有通过getline函数输入。getline函数的使用方法是：
| 语 句 | 设 置 |
| getline | $0, NF, NR, FNR |
| getline var | var, NR, FNR |
| getline <file | $0, NF |
| getline var <file | Var |
| cmd |getline | $0, NF |
| cmd |getline var | var |
注意：while(getline <”file”) 是危险的使用循环的方式，可能进入死循环（如果”file”不存在的话。安全的使用方式是 while( getline <”file” > 0)。
10 总结
AWK适用于管理小型的个人的数据库、生成报表、验证数据的合法性、生成索引和进行其它文本准备工作以及试验算法。GAWK可以很容易地获取位和字段数据、数据排序以及进行简单的网络通信[2]。尽管AWK是一种小众语言，但是其在格式化数据的处理方面至今起着不可替代的作用。
11 参考文献
【1】 Alfred V.Aho, Brian W.Kerninghan and Peter J.Weinberger. The AWK Programming Language. Addison-Wesley Publishing Company. 1988
【2】 Dale Dougherty and Arnold Robbins. Sed & Awk, 2nd edition. O’Reilly. 1997
【3】 Arnold Robbins. Effective AWK Programming, 3rd edition. O’Reilly. 2001
扫一扫
2243
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
