awk学习笔记

awk是一种编程语言，用于在linux/unix下对文本和数据进行处理。数据可以来自标准输入、一个或多个文件，或其它命令的输出。它支持用户自定义函数和动态正则表达式等先进功能，是linux/unix下的一个强大编程工具。它在命令行中使用，但更多是作为脚本来使用。awk的处理文本和数据的方式是这样的，它逐行扫描文件，从第一行到最后一行，寻找匹配的特定模式的行，并在这些行上进行你想要的操作。如果没有指定处理动作，则把匹配的行显示到标准输出(屏幕)，如果没有指定模式，则所有被操作所指定的行都被处理。

1、    调用方式

1. awk   -F"分隔符""command" filename;
2. 将所有命令插入一个文件，使它权限程序可执行，然后当成脚本调用它;
3. 将所有的awk命令插入一个单独文件，然后调用;如:awk -f awk-script-file  filename;

2、    主要结构

执行流程：输入文本，匹配pattern，执行action，接着匹配pattern，接着执行action。

awk程序中主要语法是 Pattern {Actions}, 故常见之awk 程序其型态如下 :

Pattern1 {Actions1 }  Pattern2 {Actions2 }  .....  Pattern3 {Actions3 }

PS:两者是可选的，如果没有模式，则action应用到全部记录，如果没有action，则输出匹配全部记录。默认情况下，每一个输入行都是一条记录，但用户可通过RS变量指定不同的分隔符进行分隔。

2.1    Pattern 

Pattern作用选定（action）执行对象。以下几类均可作为模式：

• • /正则表达式/：使用通配符的扩展集。
  • 关系表达式：可以用下面运算符表中的关系运算符进行操作，可以是字符串或数字的比较，如$2>%1选择第二个字段比第一个字段长的行。
  • 模式匹配表达式：用运算符~(匹配)和~!(不匹配)。
  • 模式，模式：指定一个行的范围。该语法不能包括BEGIN和END模式。
  • BEGIN：让用户指定在第一条输入记录被处理之前所发生的动作，通常可在这里设置全局变量。
  • END：让用户在最后一条输入记录被读取之后发生的动作。

2.2    Actions 

action就是对选定对象进行操作。操作由一或多个命令、函数、表达式组成，之间由换行符或分号隔开，并位于大括号内。主要有四部份：

• • 变量或数组赋值
  • 输出命令
  • 内置函数
  • 控制流命令

3、    内建变量

变量	描述
$n	当前记录的第n个字段，字段间由FS分隔。
$0	完整的输入记录。
ARGC	命令行参数的数目。
ARGIND	命令行中当前文件的位置(从0开始算)。
ARGV	包含命令行参数的数组。
FILENAME	当前文件名。
FNR	同NR，但相对于当前文件。
FS	字段分隔符(默认是任何空格)。
NF	当前记录中的字段数。
NR	当前记录数。

4、    AWK工作流程

执行awk时, 它会反复进行下列四步骤

1.   自动从指定的数据文件中读取一个数据行.

2.   自动更新(Update)相关的内建变量之值. 如 : NF, NR, $0...

3.   依次执行程序中 所有 的 Pattern { Actions } 指令.

4.   当执行完程序中所有 Pattern { Actions } 时, 若数据文件中还有未读取的数据, 则反复执行步骤1到步骤4.

awk会自动重复进行上述4个步骤, 不须于程序中编写这个循环 (Loop)

5、    AWK中数组应用

5.1    数组特性

awk中的数组的下标可以是数字和字母，称为关联数组。

5.2    取出数组中储存的信息

special for循环用于读取关联数组中的元素。格式如下：

{for (item inarrayname){

         print arrayname[item]

         }

}

$ awk'/^tom/{name[NR]=$1}; END{for(i in name){print name[i]}}' test。打印有值的数组元素。打印的顺序是随机的。

推荐blog地址：

http://www.blogjava.net/jasmine214--love/archive/2011/01/25/343478.html

http://sebug.net/paper/books/awk/#id2810128