awk命令详解

来源：http://caoyanbao.iteye.com/blog/570868

来源：http://blog.sina.com.cn/s/blog_6ceed3280101dsir.html

什么是awk? 
你可能对UNIX比较熟悉，但你可能对awk很陌生，这一点也不奇怪，的确，与其优秀的功能相比，awk还远没达到它应有的知名度。awk是什么？与其它大多数UNIX命令不同的是，从名字上看，我们不可能知道awk的功能：它既不是具有独立意义的英文单词，也不是几个相关单词的缩写。事实上，awk是三个人名的缩写，他们是：Aho、(Peter)Weinberg和(Brain)Kernighan。正是这三个人创造了awk---一个优秀的样式扫描与处理工具。 

AWK的功能是什么？
与sed和grep很相似，awk是一种样式扫描与处理工具。但其功能却大大强于sed和grep。awk提供了极其强大的功能：它几乎可以完成grep和sed所能完成的全部工作，同时，它还可以可以进行样式装入、流控制、数学运算符、进程控制语句甚至于内置的变量和函数。它具备了一个完整的语言所应具有的几乎所有精美特性。实际上，awk的确拥有自己的语言：awk程序设计语言，awk的三位创建者已将它正式定义为：样式扫描和处理语言。 

为什么使用awk? 
使用awk的第一个理由是基于文本的样式扫描和处理是我们经常做的工作，awk所做的工作有些象数据库，但与数据库不同的是，它处理的是文本文件，这些文件没有专门的存储格式，普通的人们就能编辑、阅读、理解和处理它们。而数据库文件往往具有特殊的存储格式，这使得它们必须用数据库处理程序来处理它们。既然这种类似于数据库的处理工作我们经常会遇到，我们就应当找到处理它们的简便易行的方法，UNIX有很多这方面的工具，例如sed 、grep、sort以及find等等，awk是其中十分优秀的一种。 

使用awk的第二个理由是awk是一个简单的工具，当然这是相对于其强大的功能来说的。的确，UNIX有许多优秀的工具，例如UNIX天然的开发工具C语言及其延续C++就非常的优秀。但相对于它们来说，awk完成同样的功能要方便和简捷得多。这首先是因为awk提供了适应多种需要的解决方案：从解决简单问题的awk命令行到复杂而精巧的awk程序设计语言，这样做的好处是，你可以不必用复杂的方法去解决本来很简单的问题。例如，你可以用一个命令行解决简单的问题，而C不行，即使一个再简单的程序，C语言也必须经过编写、编译的全过程。其次，awk本身是解释执行的，这就使得awk程序不必经过编译的过程，同时，这也使得它与shell script程序能够很好的契合。最后，awk本身较C语言简单，虽然awk吸收了C语言很多优秀的成分，熟悉C语言会对学习awk有很大的帮助，但awk本身不须要会使用C语言――一种功能强大但需要大量时间学习才能掌握其技巧的开发工具。 
基于以上理由，再加上awk强大的功能，我们有理由说，如果你要处理与文本样式扫描相关的工作，awk应该是你的第一选择。在这里有一个可遵循的一般原则：如果你用普通的shell工具或shell script有困难的话，试试awk,如果awk仍不能解决问题，则便用C语言，如果C语言仍然失败，则移至C++。 

awk的调用方式  

一、awk命令行，你可以象使用普通UNIX命令一样使用awk，在命令行中你也可以使用awk程序设计语言，虽然awk支持多行的录入，但是录入长长的命令行并保证其正确无误却是一件令人头疼的事，因此，这种方法一般只用于解决简单的问题。当然，你也可以在shell script程序中引用awk命令行甚至awk程序脚本。 

二、使用-f选项调用awk程序。awk允许将一段awk程序写入一个文本文件，然后在awk命令行中用-f选项调用并执行这段程序。具体的方法我们将在后面的awk语法中讲到。 

三、利用命令解释器调用awk程序：利用UNIX支持的命令解释器功能，我们可以将一段awk程序写入文本文件，然后在它的第一行加上: 
#!/bin/awk -f 
并赋予这个文本文件以执行的权限。这样做之后，你就可以在命令行中用类似于下面这样的方式调用并执行这段awk程序了。 
$awk脚本文本名 待处理文件 

awk 脚本可以由一条或多条 awk_cmd 组成，对于多个 awk_cmd ，一 个awk_cmd 完成后，应该另起一行，以便进行隔。 

awk_cmd 由两部分组成:  awk_pattern { actions } 。

另外，在 awk 命令中直接使用 awk_script 时， awk_script 也可以被分成多行书写，但必须确保整个 awk_script 被 单引号 括起来。

awk命令的一般形式:

awk '  BEGIN  { actions }

awk_pattern1 { actions }

............

awk_patternN { actions }

END  { actions }

' inputfile

其中 BEGIN { actions } 和 END { actions } 是可选的。

在awk脚本中可以使用AWK本身内置变量，如下： 

ARGC  命令行变元个数

ARGV  命令行变元数组

FILENAME  当前输入文件名

FNR  当前文件中的记录号

FS  输入域分隔符，默认为一个空格

RS  输入记录分隔符

NF  当前记录里域个数

NR  到目前为止记录数

OFS  输出域分隔符

ORS  输出记录分隔符

awk脚本的运行过程:

① 如果 BEGIN 区块存在，awk执行它指定的actions。

② awk从输入文件中读取一行，称为一条 输入记录。(如果输入文件省略，将从标准输入读取)

③ awk将读入的记录分割成字段，将第1个字段放入变量$1中，第2个字段放入$2，以此类推。$0表示整条记录。字段分隔符使用shell环境变量IFS或由参数指定。

④ 把当前输入记录依次与每一个awk_cmd中awk_pattern比较，看是否匹配，如果相匹配，就执行对应的actions。如果不匹配，就跳过对应的actions，直到比较完所有的awk_cmd。

⑤ 当一条输入记录比较了所有的awk_cmd后，awk读取输入的下一行，继续重复步骤③和④，这个过程一直持续，直到awk读取到文件尾。

⑥ 当awk读完所有的输入行后，如果存在 END，就执行相应的actions。

1)i nput_file可以是多于一个文件的文件列表，awk将按顺序处理列表中的每个文件。

2) 一条 awk_cmd 的 awk_pattern 可以省略，省略时不对输入记录进行匹配比较就执行相应的actions。一条awk_cmd的actions 也可以省略，省略时默认的动作为打印当前输入记录,即{print $0} 。一条awk_cmd中的awk_pattern和actions 不能同时省略 。

3)  BEGIN区块 和 END区块 别位于awk_script的开头和结尾。 awk_script 中只有 END区块 或者只有 BEGIN区块 是被允许的。如果awk_script中只有BEGIN { actions } ，awk不会读取input_file。

4)   awk 把输入文件的数据读入内存，然后操作内存中的输入数据副本， awk 不会修改输入文件的内容。

5)  awk 的总是输出到标准输出，如果想让 awk 输出到文件，可以使用重定向。

3.1.awk_pattern

awk_pattern 模式部分决定 actions 动作部分何时触发及触发 actions 。

awk_pattern 可以是以下几种类型 :

1) 正则表达式用作 awk_pattern :   / regexp /

注意， 正则表达式 regexp 必须被 / 包起来

awk中正则表达式匹配操作中经常用到的字符:

\ ^ $ . [] | () * //  ：通用的regexp元字符

+  : 匹配其前的单个字符一次以上，是awk自有的元字符，不适用于grep或sed等

?  : 匹配其前的单个字符1次或0次，是awk自有的元字符，不适用于grep或sed等

关于正则表达式的更多内容请参《 正则表达式》

举例 :

awk ' /  * \$ 0 \. [0-9][0-9] . * / ' input_file

比如，行内容为 $0.99. helllo 的行就可以和上面的正则表达式相配

2) 布尔表达式用作 awk_pattern ，表达式成立时，触发相应的actions执行。

① 表达式中可以使用 变量 (如字段变量$1,$2等)和/regexp/

② 布尔表达式中的操作符:

关系操作符:  < > <= >= == !=

匹配操作符:  value  ~   /regexp/  如果value匹配/regexp/，则返回真

value  !~  /regexp/  如果value不匹配/regexp/，则返回真

举例:  awk '$2  >  10 {print "ok"}' input_file

awk '$3  ~   / ^d /  {print "ok"}' input_file

③  && (与) 和  || (或) 可以连接两个/regexp/或者布尔表达式，构成 混合表达式 。 ! (非) 可以用于布尔表达式或者/regexp/之前。

举例:  awk '($1 < 10 ) && ($2 > 10) {print $0 "ok"}' input_file

awk ' / ^d /   ||   / x$ /  {print $0 "ok"}' input_file

④ 其它表达式用作awk_script，如赋值表达式等

举例 :

 awk '(tot+=$6); END{print "total points :" tot }' input_file   // 分号不能省略

awk 'tot+=$6 {print $0} END{print "total points :" tot }' input_file  // 与上面等效

当使用赋值表达式时，表示如果赋值后的变量是数字的话，如果为非0,就匹配，否则不匹配；如果为字符串的话，非空就为匹配，否则不匹配。

awk内置字符串函数:

gsub(r，s)           在整个$0中用s替代r

awk 'gsub(/name/，"xingming") {print $0}' temp

gsub(r，s，t)         在整个t中用s替代r

index(s，t)          返回s中字符串t的第一位置

awk 'BEGIN {print index("Sunny"，"ny")}' temp     返回4

length(s)           返回s的长度

match(s，r)          测试s是否包含匹配r的字符串

awk '$1=="J.Lulu" {print match($1，"u")}' temp    返回4

split(s，a，fs)       在fs上将s分成序列a

awk 'BEGIN {print split("12#345#6789"，myarray，"#")"'

返回3，同时myarray[1]="12"， myarray[2]="345"， myarray[3]="6789"

sprint(fmt，exp)     返回经fmt格式化后的exp

sub(r，s)   从$0中最左边最长的子串中用s代替r(只更换第一遇到的匹配字符串)

substr(s，p)         返回字符串s中从p开始的后缀部分

substr(s，p，n)       返回字符串s中从p开始长度为n的后缀部分

awk字符串连接操作 

[chengmo@centos5 ~]$ awk 'BEGIN{a="a";b="b";c=(a""b);print c}'      

ab 

2.7.     printf函数的使用:

字符转换: echo "65" |awk '{printf "%c\n"，$0}'    输出A

 awk 'BEGIN {printf "%f\n"，999}'        输出999.000000

格式化输出:awk '{printf "%-15s %s\n"，$1，$3}' temp 将第一个域全部左对齐显示

2.8.     其他awk用法:

    向一行awk命令传值:

awk '{if ($5

who | awk '{if ($1==user) print $1 " are in " $2 ' user=$LOGNAME 使用环境变量

awk脚本命令:

开头使用 !/bin/awk -f  ，如果没有这句话自含脚本将不能执行，例子:

!/bin/awk -f

# all comment lines must start with a hash '#'

# name: student_tot.awk

# to call: student_tot.awk grade.txt

# prints total and average of club student points

# print a header first

BEGIN

{

print "Student    Date   Member No.  Grade  Age  Points  Max"

print "Name  Joined Gained  Point Available"

print"========================================================="

}

# let's add the scores of points gained

(tot+=$6);

# finished processing now let's print the total and average point

END

{

    print "Club student total points :" tot

    print "Average Club Student points :" tot/N

}

2.9.     awk数组:

awk的循环基本结构

For (element in array) print array[element]

awk 'BEGIN {record="123#456#789";split(record，myarray，"#")} 

END { for (i in myarray) {print myarray[i]} }

3.0  awk中自定义语句

一.条件判断语句(if)

if(表达式) #if ( Variable in Array )

语句1

else

语句2

格式中"语句1"可以是多个语句，如果你为了方便Unix awk判断也方便你自已阅读，你最好将多个语句用{}括起来。Unix awk分枝结构允许嵌套，其格式为：

if(表达式)

{语句1}

else if(表达式)

{语句2}

else

{语句3}

[chengmo@localhost nginx]# awk 'BEGIN{ 

test=100;

if(test>90)

{

    print "very good";

}

else if(test>60)

{

    print "good";

}

else

{

    print "no pass";

}

}'

very good

 

每条命令语句后面可以用“；”号结尾。

 

二.循环语句(while,for,do)

1.while语句

格式：

while(表达式)

{语句}

例子：

[chengmo@localhost nginx]# awk 'BEGIN{ 

test=100;

total=0;

while(i<=test)

{

    total+=i;

    i++;

}

print total;

}'

5050

2.for 循环

for循环有两种格式：

格式1：

for(变量 in 数组)

{语句}

例子：

[chengmo@localhost nginx]# awk 'BEGIN{ 

for(k in ENVIRON)

{

    print k"="ENVIRON[k];

}

}'

AWKPATH=.:/usr/share/awk

OLDPWD=/home/web97

SSH_ASKPASS=/usr/libexec/openssh/gnome-ssh-askpass

SELINUX_LEVEL_REQUESTED=

SELINUX_ROLE_REQUESTED=

LANG=zh_CN.GB2312

。。。。。。

说明：ENVIRON 是awk常量，是子典型数组。

格式2：

for(变量;条件;表达式)

{语句}

例子：

[chengmo@localhost nginx]# awk 'BEGIN{ 

total=0;

for(i=0;i<=100;i++)

{

    total+=i;

}

print total;

}'

5050

3.do循环

格式：

do

{语句}while(条件)

例子：

[chengmo@localhost nginx]# awk 'BEGIN{ 

total=0;

i=0;

do

{

    total+=i;

    i++;

}while(i<=100)

print total;

}'

5050

 

以上为awk流程控制语句，从语法上面大家可以看到，与c语言是一样的。有了这些语句，其实很多shell程序都可以交给awk，而且性能是非常快的。

break 当 break 语句用于 while 或 for 语句时，导致退出程序循环。 

continue 当 continue 语句用于 while 或 for 语句时，使程序循环移动到下一个迭代。 

next 能能够导致读入下一个输入行，并返回到脚本的顶部。这可以避免对当前输入行执行其他的操作过程。 

exit 语句使主输入循环退出并将控制转移到END,如果END存在的话。如果没有定义END规则，或在END中应用exit语句，则终止脚本的执行。 

NR与FNR：

QUOTE:

A．awk对多输入文件的执行顺序是，先将代码作用于第一个文件（一行行读入），然后该重复的代码又作用于第二个文件，再作用于第三个文件。

B．awk对多输入文件的执行顺序产生了行序号的问题。当第一个文件执行完，下次读入第二个文件，那么第二个文件的第一行怎么算呢？如果又计为1的话，那不就两个1了么？（因为第一个文件也有第一行）。这就是NR和FNR的问题。

   NR ：全局行数（第二个文件的第一行接着第一个文件尾行数顺序计数）

   FNR：当前文件自身的行数（不考虑前几个输入文件的自身行数及总数）

         例如：data1.txt中有40行，data2.txt中有50行，那么awk ‘{}’ data1.txt data2.txt

                  NR  的值依次为：1，2……40，41，42……90

                   FNR的值依次为：1，2……40， 1， 2……50 

getline函数说明：

awk 的 getline语句用于简单地读取一条记录。如果用户有一个数据记录类似两个物理记录，那么getline将尤其有用。它完成一般字段的分离(设置字段变量$0 FNR NF NR)。如果成功则返回1，失败则返回0（到达文件尾）。

QUOTE:

A．getline从整体上来说，应这么理解它的用法：

            当其左右无重定向符 | 或 < 时，getline作用于当前文件，读入当前文件的第一行给其后跟的变量 

            var 或$0（无变量）；应该注意到，由于awk在处理getline之前已经读入了一行，所以getline得到

            的返回结果是隔行的。

            当其左右有重定向符 | 或 < 时，getline则作用于定向输入文件，由于该文件是刚打开，并没有被

            awk读入一行，只是getline读入，那么getline返回的是该文件的第一行，而不是隔行。

B．getline用法大致可分为三大类（每大类又分两小类），即总共有6种用法。代码如下：

QUOTE:

nawk ‘BEGIN{“cat data.txt”|getline d; print d}’ data2.txt 

nawk ‘BEGIN{“cat data.txt”|getline; print $0}’ data2.txt

nawk ‘BEGIN{getline d < “data.txt”; print d}’ data2.txt 

nawk ‘BEGIN{getline < “data.txt”; print $0}’ data2.txt

      以上四行代码均实现“只打印data.txt文件的第一行”（若打印全部行，用循环）

eg. nawk ‘BEGIN{FS=”:”;while(getline<”/etc/passwd”>0){print $1}}’ data.txt

QUOTE:

nawk ‘{getline d; print d”#”$3}’ data.txt

 awk首先读入第一行，接着处理getline函数，然后把下一行指定给变量d，再先打印d，由于d后面有换行符，所以后面紧跟的＃会覆盖d，后面的$3同样也会覆盖d。

QUOTE:

nawk ‘{getline; print $0”#”$3}’ data.txt

awk首先读入第一行接着处理getline函数，然后把下一行指定给$0，现在的$0已经是下一行内容，后面的#和$3（从$0中取）会覆盖$0的内容。

在awk中，有时需要调用系统工具来完成awk不擅长的工作，awk提供的system命令可以用来执行，但收不到外部工具的输出结果。好在可以运用getline来满足这个需求。例如

test.awk:

{

   datecommand="/bin/date -j -f \"%d/%b/%Y:%H:%M:%S\" " $olddatestr " \"+%Y%m%d %H%M%S\"";

   datecommand | getline newdatestr 

   close(datecommand);

}

 

外部命令需要awk占用一个文件描述符，而awk最多能打开的文件有一个上限，而且不大（比如说16），所以最后做一个close是好习惯。把命令串定义为一个变量也是为了close的时候方便

awk的语法： 
与其它UNIX命令一样，awk拥有自己的语法： 
awk [ -F re] [parameter...] ['prog'] [-f progfile][in_file...] 


参数说明： 
-F re:允许awk更改其字段分隔符。 
parameter: 该参数帮助为不同的变量赋值。 
'prog': awk的程序语句段。这个语句段必须用单括号：'和'括起，以防被shell解释。这个程序语句段的标准形式为： 
'pattern {action}' 


其中pattern参数可以是egrep正则表达式中的任何一个，它可以使用语法/re/再加上一些样式匹配技巧构成。与sed类似，你也可以使用","分开两样式以选择某个范围。关于匹配的细节，你可以参考附录，如果仍不懂的话，找本UNIX书学学grep和sed（本人是在学习ed时掌握匹配技术的）。action参数总是被大括号包围，它由一系统awk语句组成，各语句之间用";"分隔。awk解释它们，并在pattern给定的样式匹配的记录上执行其操作。与shell类似，你也可以使用“#”作为注释符，它使“#”到行尾的内容成为注释，在解释执行时，它们将被忽略。你可以省略pattern和action之一，但不能两者同时省略，当省略pattern时没有样式匹配，表示对所有行（记录）均执行操作，省略action时执行缺省的操作――在标准输出上显示。 


-f progfile:允许awk调用并执行progfile指定有程序文件。progfile是一个文本文件，他必须符合awk的语法。 
in_file:awk的输入文件，awk允许对多个输入文件进行处理。值得注意的是awk不修改输入文件。如果未指定输入文件，awk将接受标准输入，并将结果显示在标准输出上。awk支持输入输出重定向。 

awk的记录、字段与内置变量： 
前面说过，awk处理的工作与数据库的处理方式有相同之处，其相同处之一就是awk支持对记录和字段的处理，其中对字段的处理是grep和sed不能实现的，这也是awk优于二者的原因之一。在awk中，缺省的情况下总是将文本文件中的一行视为一个记录，而将一行中的某一部分作为记录中的一个字段。为了操作这些不同的字段，awk借用shell的方法，用$1,$2,$3...这样的方式来顺序地表示行（记录）中的不同字段。特殊地，awk用$0表示整个行（记录）。不同的字段之间是用称作分隔符的字符分隔开的。系统默认的分隔符是空格。awk允许在命令行中用-F re的形式来改变这个分隔符。事实上，awk用一个内置的变量FS来记忆这个分隔符。awk中有好几个这样的内置变量，例如，记录分隔符变量RS、当前工作的记录数NR等等，本文后面的附表列出了全部的内置变量。这些内置的变量可以在awk程序中引用或修改，例如，你可以利用NR变量在模式匹配中指定工作范围，也可以通过修改记录分隔符RS让一个特殊字符而不是换行符作为记录的分隔符。 

例:显示文本文件myfile中第七行到第十五行中以字符%分隔的第一字段，第三字段和第七字段： 
awk -F % 'NR==7,NR==15 {printf $1 $3 $7}'

awk的内置函数 
awk之所以成为一种优秀的程序设计语言的原因之一是它吸收了某些优秀的程序设计语言（例如C）语言的许多优点。这些优点之一就是内置函数的使用，awk定义并支持了一系列的内置函数，由于这些函数的使用，使得awk提供的功能更为完善和强大，例如，awk使用了一系列的字符串处理内置函数(这些函数看起来与C语言的字符串处理函数相似，其使用方式与C语言中的函数也相差无几)，正是由于这些内置函数的使用，使awk处理字符串的功能更加强大。本文后面的附录中列有一般的awk所提供的内置函数，这些内置函数也许与你的awk版本有些出入，因此，在使用之前，最好参考一下你的系统中的联机帮助。 

作为内置函数的一个例子，我们将在这里介绍awk的printf函数，这个函数使得awk与c语言的输出相一致。实际上，awk中有许多引用形式都是从C语言借用过来的。如果你熟悉C语言，你也许会记得其中的printf函数，它提供的强大格式输出功能曾经带我们许多的方便。幸运的是，我们在awk中又和它重逢了。awk中printf几乎与C语言中一模一样，如果你熟悉C语言的话，你完全可以照C语言的模式使用awk中的printf。因此在这里，我们只给出一个例子，如果你不熟悉的话，请随便找一本C语言的入门书翻翻。

例:显示文件myfile中的行号和第3字段： 
$awk '{printf"%03d%s",NR,$1}' myfile 

在命令行使用awk 
按照顺序，我们应当讲解awk程序设计的内容了，但在讲解之前，我们将用一些例子来对前面的知识进行回顾，这些例子都是在命令行中使用的，由此我们可以知道在命令行中使用awk是多么的方便。这样做的原因一方面是为下面的内容作铺垫，另一方面是介绍一些解决简单问题的方法，我们完全没有必要用复杂的方法来解决简单的问题----既然awk提供了较为简单的方法的话。 

例：显示文本文件mydoc匹配（含有）字符串"sun"的所有行。 
$awk '/sun/{print}' mydoc 

由于显示整个记录（全行）是awk的缺省动作，因此可以省略action项。 
$awk '/sun/' mydoc 

例：下面是一个较为复杂的匹配的示例： 
$awk '/[Ss]un/,/[Mm]oon/ {print}' myfile 
它将显示第一个匹配Sun或sun的行与第一个匹配Moon或moon的行之间的行，并显示到标准输出上。 

例：下面的示例显示了内置变量和内置函数length（）的使用： 
$awk 'length($0)>80 {print NR}' myfile 
该命令行将显示文本myfile中所有超过80个字符的行号，在这里，用$0表示整个记录（行），同时，内置变量NR不使用标志符'$'。 
例：作为一个较为实际的例子，我们假设要对UNIX中的用户进行安全性检查，方法是考察/etc下的passwd文件，检查其中的passwd字段（第二字段）是否为"*"，如不为"*"，则表示该用户没有设置密码，显示出这些用户名（第一字段）。
我们可以用如下语句实现： 
#awk -F: '$2=="" {printf("%s no password!",$1' /etc/passwd 
在这个示例中，passwd文件的字段分隔符是“：”，因此，必须用-F：来更改默认的字段分隔符，这个示例中也涉及到了内置函数printf的使用。 

awk的变量 
如同其它程序设计语言一样，awk允许在程序语言中设置变量，事实上，提供变量的功能是程序设计语言的其本要求，不提供变量的程序设计语言本人还从未见过。 

awk提供两种变量，一种是awk内置的变量，这前面我们已经讲过，需要着重指出的是，与后面提到的其它变量不同的是，在awk程序中引用内置变量不需要使用标志符"$"（回忆一下前面讲过的NR的使用）。awk提供的另一种变量是自定义变量。awk允许用户在awk程序语句中定义并调用自已的变量。当然这种变量不能与内置变量及其它awk保留字相同，在awk中引用自定义变量必须在它前面加上标志符"$"。与C语言不同的是，awk中不需要对变量进行初始化，awk根据其在awk中第一次出现的形式和上下文确定其具体的数据类型。当变量类型不确定时，awk默认其为字符串类型。这里有一个技巧：如果你要让你的awk程序知道你所使用的变量的明确类型，你应当在在程序中给它赋初值。在后面的实例中，我们将用到这一技巧。 

运算与判断： 
作为一种程序设计语言所应具有的特点之一，awk支持多种运算，这些运算与C语言提供的几本相同：如+、-、*、/、%等等，同时，awk也支持C语言中类似++、--、+=、-=、=+、=-之类的功能，这给熟悉C语言的使用者编写awk程序带来了极大的方便。作为对运算功能的一种扩展，awk还提供了一系列内置的运算函数（如log、sqr、cos、sin等等）和一些用于对字符串进行操作（运算）的函数（如length、substr等等）。这些函数的引用大大的提高了awk的运算功能。 

作为对条件转移指令的一部分，关系判断是每种程序设计语言都具备的功能，awk也不例外。awk中允许进行多种测试，如常用的==（等于）、！=（不等于）、>（大于）、<（小于）、>=（大于等于）、>=（小于等于）等等，同时，作为样式匹配，还提供了~（匹配于）和！~（不匹配于）判断。 

作为对测试的一种扩充，awk也支持用逻辑运算符:!(非)、&&（与）、||（或）和括号（）进行多重判断，这大大增强了awk的功能。本文的附录中列出了awk所允许的运算、判断以及操作符的优先级。 

awk的流程控制 
流程控制语句是任何程序设计语言都不能缺少的部分。任何好的语言都有一些执行流程控制的语句。awk提供的完备的流程控制语句类似于C语言，这给我们编程带来了极大的方便。 

1、BEGIN和END: 
在awk中两个特别的表达式，BEGIN和END，这两者都可用于pattern中（参考前面的awk语法），提供BEGIN和END的作用是给程序赋予初始状态和在程序结束之后执行一些扫尾的工作。任何在BEGIN之后列出的操作（在{}内）将在awk开始扫描输入之前执行，而END之后列出的操作将在扫描完全部的输入之后执行。因此，通常使用BEGIN来显示变量和预置（初始化）变量，使用END来输出最终结果。 

例：累计销售文件xs中的销售金额（假设销售金额在记录的第三字段）： 
$awk 
>'BEGIN { FS=":";print "统计销售金额";total=0} 
>{print $3;total=total+$3;} 
>END {printf "销售金额总计：%.2f",total}' sx 
（注：>是shell提供的第二提示符，如要在shell程序awk语句和awk语言中换行，则需在行尾加反斜杠） 
在这里，BEGIN预置了内部变量FS（字段分隔符）和自定义变量total,同时在扫描之前显示出输出行头。而END则在扫描完成后打印出总合计。 

2、流程控制语句 
awk提供了完备的流程控制语句，其用法与C语言类似。下面我们一一加以说明： 
2.1、if...else语句: 
格式： 
if(表达式) 
语句1 
else 
语句2 
格式中"语句1"可以是多个语句，如果你为了方便awk判断也方便你自已阅读，你最好将多个语句用{}括起来。awk分枝结构允许嵌套，其格式为： 
if(表达式1） 
{if(表达式2） 
语句1 
else 
语句2 
} 
语句3 
else {if(表达式3) 
语句4 
else 
语句5 
} 
语句6 
当然实际操作过程中你可能不会用到如此复杂的分枝结构，这里只是为了给出其样式罢了。 

2.2、while语句 
格式为: 
while(表达式) 
语句 

2.3、do-while语句 
格式为: 
do 
{ 
语句 
}while(条件判断语句） 

2.4、for语句 
格式为： 
for(初始表达式;终止条件;步长表达式) 
{语句}
在awk的 while、do-while和for语句中允许使用break,continue语句来控制流程走向，也允许使用exit这样的语句来退出。break中断当前正在执行的循环并跳到循环外执行下一条语句。continue从当前位置跳到循环开始处执行。对于exit的执行有两种情况：当exit语句不在END中时，任何操作中的exit命令表现得如同到了文件尾，所有模式或操作执行将停止，END模式中的操作被执行。而出现在END中的exit将导致程序终止。 
例：为了 
awk中的自定义函数 
定义和调用用户自己的函数是几乎每个高级语言都具有的功能，awk也不例外，但原始的awk并不提供函数功能，只有在nawk或较新的awk版本中才可以增加函数。 
函数的使用包含两部分：函数的定义与函数调用。其中函数定义又包括要执行的代码（函数本身）和从主程序代码传递到该函数的临时调用。 

awk函数的定义方法如下： 
function 函数名(参数表){ 
函数体 
} 

在gawk中允许将function省略为func，但其它版本的awk不允许。函数名必须是一个合法的标志符，参数表中可以不提供参数（但在调用函数时函数名后的一对括号仍然是不可缺少的），也可以提供一个或多个参数。与C语言相似，awk的参数也是通过值来传递的。 

在awk中调用函数比较简单，其方法与C语言相似，但awk比C语言更为灵活，它不执行参数有效性检查。换句话说，在你调用函数时，可以列出比函数预计（函数定义中规定）的多或少的参数，多余的参数会被awk所忽略，而不足的参数，awk将它们置为缺省值0或空字符串，具体置为何值，将取决于参数的使用方式。 

awk函数有两种返回方式：隐式返回和显式返回。当awk执行到函数的结尾时，它自动地返回到调用程序，这是函数是隐式返回的。如果需要在结束之前退出函数，可以明确地使用返回语句提前退出。方法是在函数中使用形如：return 返回值 格式的语句。 

例：下面的例子演示了函数的使用。在这个示例中，定义了一个名为print_header的函数，该函数调用了两个参数FileName和PageNum，FileName参数传给函数当前使用的文件名，PageNum参数是当前页的页号。这个函数的功能是打印（显示）出当前文件的文件名，和当前页的页号。完成这个功能后，这个函数将返回下一页的页号。 

nawk 
>'BEGIN{pageno=1;file=FILENAME 
>pageno=print_header(file，pageno)；#调用函数print_header 
>printf("当前页页号是：%d",pageno); 
>} 

>#定义函数print_header 
>function print_header(FileName,PageNum){ 
>printf("%s %d",FileName,PageNum); >PageNum++;return PageNUm; 
>} 
>}' myfile 

执行这个程序将显示如下内容： 

myfile 1 
当前页页号是：2 

awk高级输入输出 
1.读取下一条记录： 
awk的next语句导致awk读取下一个记录并完成模式匹配，然后立即执行相应的操作。通常它用匹配的模式执行操作中的代码。next导致这个记录的任何额外匹配模式被忽略。 

2.简单地读取一条记录 
awk的 getline语句用于简单地读取一条记录。如果用户有一个数据记录类似两个物理记录，那么getline将尤其有用。它完成一般字段的分离(设置字段变量$0 FNR NF NR)。如果成功则返回1，失败则返回0（到达文件尾）。如果需简单地读取一个文件，则可以编写以下代码： 

例：示例getline的使用 

{while(getline==1) 
{ 
#process the inputted fields 
} 
} 

也可以使getline保存输入数据在一个字段中，而不是通过使用getline variable的形式处理一般字段。当使用这种方式时，NF被置成0，FNR和NR被增值。 
用户也可以使用getline<"filename"方式从一个给定的文件中输入数据，而不是从命令行所列内容输入数据。此时，getline将完成一般字段分离（设置字段变量$0和NF)。如果文件不存在，返回-1,成功，返回1,返回0表示失败。用户可以从给定文件中读取数据到一个变量中，也可以用stdin(标准输入设备）或一个包含这个文件名的变量代替filename。值得注意的是当使用这种方式时不修改FNR和NR。 
另一种使用getline语句的方法是从UNIX命令接受输入，例如下面的例子: 
例：示例从UNIX命令接受输入 
{while("who -u"|getline) 
{ 
#process each line from the who command 
} 
} 

当然，也可以使用如下形式: 
"command" | getline variable 

3.关闭文件: 
awk中允许在程序中关闭一个输入或输出文件，方法是使用awk的close语句。 
close("filename") 
filename可以是getline打开的文件（也可以是stdin,包含文件名的变量或者getline使用的确切命令）。或一个输出文件（可以是stdout，包含文件名的变量或使用管道的确切命令）。 

4.输出到一个文件: 
awk中允许用如下方式将结果输出到一个文件： 
printf("hello word!")>"datafile" 
或 
printf("hello word!")>>"datafile" 

5.输出到一个命令 
awk中允许用如下方式将结果输出到一个命令： 
printf("hello word!")|"sort-t','" 
awk与shell script混合编程 
因为awk可以作为一个shell命令使用，因此awk能与shell批处理程序很好的融合在一起，这给实现awk与shell程序的混合编程提供了可能。实现混合编程的关键是awk与shell script之间的对话，换言之，就是awk与shell script之间的信息交流:awk从shell script中获取所需的信息（通常是变量的值）、在awk中执行shell命令行、shell script将命令执行的结果送给awk处理以及shell script读取awk的执行结果等等。 

1.awk读取Shell script程序变量 
在awk中我们可以通过“'$变量名'”的方式读取sell scrpit程序中的变量。 

例：在下面的示例中，我们将读取sell scrpit程序中的变量Name，该变量存放的是文本myfile的撰写者，awk将打印出这个人名。 
$cat writename 
Name="张三" nawk 'BEGIN {name="'Name'"; printf("%s撰写者%s",FILENAME,name");} 
{...}END{...}' myfile 

2.将shell命令的执行结果送给awk处理 
作为信息传送的一种方法，我们可以将一条shell命令的结果通过管道线（|）传递给awk处理： 

例：示例awk处理shell命令的执行结果 
$who -u | awk '{printf("%s正在执行%s",$2,$1)}' 

该命令将打印出注册终端正在执行的程序名。 

3.shell script程序读awk的执行结果 

为了实现shell script程序读取awk执行的结果，我们可以采取一些特殊的方法，例如我们可以用变量名=`awk语句`的形式将awk执行的结果存放入一个shell script变量。当然也可以用管道线的方法将awk执行结果传递给shell script程序处理。 

例：作为传送消息的机制之一，UNIX提供了一个向其所有用户传送消息的命令wall（意思是write to all写给所有用户），该命令允许向所有工作中的用户（终端）发送消息。为此，我们可以通过一段shell批处理程序wall.shell来模拟这一程序（事实上比较老的版本中wall就是一段shell批处理程序： 

$cat wall.shell 
# @(#) wall.shell:发送消息给每个已注册终端 
cat >/tmp/$$ 
#用户录入消息文本 who -u | awk '{print $2}' | while read tty 
do 
cat /tmp/$$>$tty 
done 

在这个程序里，awk接受who -u命令的执行结果，该命令打印出所有已注册终端的信息，其中第二个字段是已注册终端的设备名，因此用awk命令析出该设备名，然后用while read tty语句循环读出这些文件名到变量（shell script变量）tty中，作为信息传送的终结地址。 

4.在awk中执行shell命令行----嵌入函数system() 
system()是一个不适合字符或数字类型的嵌入函数，该函数的功能是处理作为参数传递给它的字符串。system对这个参数的处理就是将其作为命令处理，也就是说将其当作命令行一样加以执行。这使得用户在自己的awk程序需要时可以灵活地执行命令或脚本。 

例：下面的程序将使用system嵌入函数打印用户编制好的报表文件，这个文件存放在名为myreport.txt的文件中。为简约起见，我们只列出了其END部分： 

END {close("myreport.txt");system("lp myreport.txt");} 

在这个示例中，我们首先使用close语句关闭了文件myreport.txt文件，然后使用system嵌入函数将myreport.txt送入打印机打印。 

写到这里，我不得不跟朋友们说再见了，实在地说，这些内容仍然是awk的初步知识，电脑永远是前进的科学，awk也不例外，本篇所能做的只是在你前行的漫漫长途中铺平一段小小开端，剩下的路还得靠你自己去走。老实说，如果本文真能给你前行的路上带来些许的方便，那本人就知足了！ 
如对本篇有任何疑问，请E-mail To:Chizlong@yeah.net或到主页http://chizling.yeah.net中留言。 

附录： 
1.awk的常规表达式元字符 

换码序列 
^ 在字符串的开头开始匹配 
$ 在字符串的结尾开始匹配 
. 与任何单个字符串匹配 
[ABC] 与[]内的任一字符匹配 
[A-Ca-c] 与A-C及a-c范围内的字符匹配（按字母表顺序） 
[^ABC] 与除[]内的所有字符以外的任一字符匹配 
Desk|Chair 与Desk和Chair中的任一个匹配 
[ABC][DEF] 关联。与A、B、C中的任一字符匹配，且其后要跟D、E、F中的任一个字符。 
* 与A、B或C中任一个出现0次或多次的字符相匹配 
+ 与A、B或C中任何一个出现1次或多次的字符相匹配 
？ 与一个空串或A、B或C在任何一个字符相匹配 
（Blue|Black）berry 合并常规表达式，与Blueberry或Blackberry相匹配 

2.awk算术运算符 
运算符 用途 
------------------ 
x^y x的y次幂 
x**y 同上 
x%y 计算x/y的余数（求模） 
x+y x加y 
x-y x减y 
x*y x乘y 
x/y x除y 
-y 负y(y的开关符号);也称一目减 
++y y加1后使用y(前置加） 
y++ 使用y值后加1（后缀加） 
--y y减1后使用y(前置减） 
y-- 使用后y减1(后缀减） 
x=y 将y的值赋给x 
x+=y 将x+y的值赋给x 
x-=y 将x-y的值赋给x 
x*=y 将x*y的值赋给x 
x/=y 将x/y的值赋给x x%=y 将x%y的值赋给x 
x^=y 将x^y的值赋给x 
x**=y 将x**y的值赋给x 

3.awk允许的测试： 
操作符 含义 
x==y x等于y 
x!=y x不等于y 
x>y x大于y 
x>=y x大于或等于y 
x<y x小于y 
x<=y x小于或等于y? 
x~re x匹配正则表达式re? 
x!~re x不匹配正则表达式re? 

4.awk的操作符(按优先级升序排列) 
= 、+=、 -=、 *= 、/= 、 %= 
|| 
&& 
> >= < <= == != ~ !~ 
xy (字符串连结，'x'y'变成"xy"） 
+ - 
* / % 
++ -- 

5.awk内置变量（预定义变量） 
说明：表中v项表示第一个支持变量的工具（下同）：A=awk，N=nawk,P=POSIX awk,G=gawk 
V 变量 含义 缺省值 
-------------------------------------------------------- 
N ARGC 命令行参数个数 
G ARGIND 当前被处理文件的ARGV标志符 
N ARGV 命令行参数数组 
G CONVFMT 数字转换格式 %.6g 
P ENVIRON UNIX环境变量 
N ERRNO UNIX系统错误消息 
G FIELDWIDTHS 输入字段宽度的空白分隔字符串 
A FILENAME 当前输入文件的名字 
P FNR 当前记录数 
A FS 输入字段分隔符 空格 
G IGNORECASE 控制大小写敏感0（大小写敏感） 
A NF 当前记录中的字段个数 
A NR 已经读出的记录数 
A OFMT 数字的输出格式 %.6g 
A OFS 输出字段分隔符 空格 
A ORS 输出的记录分隔符 新行 
A RS 输入的记录他隔符 新行 
N RSTART 被匹配函数匹配的字符串首 
N RLENGTH 被匹配函数匹配的字符串长度 
N SUBSEP 下标分隔符 "34" 

6.awk的内置函数 
V 函数 用途或返回值 
------------------------------------------------ 
N gsub(reg,string,target) 每次常规表达式reg匹配时替换target中的string 
N index(search,string) 返回string中search串的位置 
A length(string) 求串string中的字符个数 
N match(string,reg) 返回常规表达式reg匹配的string中的位置 
N printf(format,variable) 格式化输出，按format提供的格式输出变量variable。 
N split(string,store,delim) 根据分界符delim,分解string为store的数组元素 
N sprintf(format,variable) 返回一个包含基于format的格式化数据，variables是要放到串中的数据 
G strftime(format,timestamp) 返回一个基于format的日期或者时间串，timestmp是systime()函数返回的时间 
N sub(reg,string,target) 第一次当常规表达式reg匹配，替换target串中的字符串 
A substr(string,position,len) 返回一个以position开始len个字符的子串 
P totower(string) 返回string中对应的小写字符 
P toupper(string) 返回string中对应的大写字符 
A atan(x,y) x的余切(弧度) 
N cos(x) x的余弦(弧度) 
A exp(x) e的x幂 
A int(x) x的整数部分 
A log(x) x的自然对数值 
N rand() 0-1之间的随机数 
N sin(x) x的正弦(弧度) 
A sqrt(x) x的平方根 
A srand(x) 初始化随机数发生器。如果忽略x，则使用system() 
G system() 返回自1970年1月1日以来经过的时间（按秒计算）