Linux awk命令详解

AWK介绍

0.awk有3个不同版本: awk、nawk和gawk，未作特别说明，一般指gawk。

1.awk语言的最基本功能是在文件或字符串中基于指定规则来分解抽取信息，也可以基于指定的规则来输出数据。完整的awk脚本通常用来格式化文本文件中的信息。

2.三种方式调用awk

1) awk [opion] 'awk_script' input_file1 [input_file2 ...]

awk的常用选项option有；

① -F fs : 使用fs作为输入记录的字段分隔符，如果省略该选项，wak使用环境变量IFS的值

② -f filename : 从文件filename中读取awk_script

③ -v var=value : 为awk_script设置变量

2) 将awk_script放入脚本文件并以 #!/bin/awk -f 作为首行，给予该脚本可执行权限，然后在shell下通过键入该脚本的脚本名调用之。

3) 将所有的awk_script插入一个单独脚本文件，然后调用: awk -f wak脚本文件 input_file(s)

3. awk的运行过程

1) awk_script的组成:

① awk_script可以由一条或多条awk_cmd组成，两条awk_cmd之间一般以NEWLINE分隔

② awk_cmd由两部分组成: awk_pattern { actions }

③ awk_script可以被分成多行书写，必须确保整个awk_script被单引号括起来。

2) awk命令的一般形式:

awk ' BEGIN { actions }

awk_pattern1 { actions }

............

awk_patternN { actions }

END { actions }

' inputfile

其中 BEGIN { actions } 和 END { actions } 是可选的。

3) awk的运行过程:

① 如果BEGIN 区块存在，awk执行它指定的actions。

② awk从输入文件中读取一行，称为一条输入记录。(如果输入文件省略，将从标准输入读取)

③ awk将读入的记录分割成字段，将第1个字段放入变量$1中，第2个字段放入$2，以此类推。$0表示整条记录。字段分隔符使用shell环境变量IFS或由参数指定。

④ 把当前输入记录依次与每一个awk_cmd中awk_pattern比较，看是否匹配，如果相匹配，就执行对应的actions。如果不匹配，就跳过对应的actions，直到比较完所有的awk_cmd。

⑤ 当一条输入记录比较了所有的awk_cmd后，awk读取输入的下一行，继续重复步骤③和④，这个过程一直持续，直到awk读取到文件尾。

⑥ 当awk读完所有的输入行后，如果存在END，就执行相应的actions。

4) iput_file可以是多于一个文件的文件列表，awk将按顺序处理列表中的每个文件。

5) 一条awk_cmd的awk_pattern可以省略，省略时不对输入记录进行匹配比较就执行相应的actions。一条awk_cmd的actions 也可以省略，省略时默认的动作为打印当前输入记录(print $0) 。一条awk_cmd中的awk_pattern和actions不能同时省略。

6) BEGIN区块和END区块别位于awk_script的开头和结尾。awk_script中只有END区块或者只有BEGIN区块是被允许的。如果awk_script中只有BEGIN { actions } ，awk不会读取input_file。

7) awk把输入文件的数据读入内存，然后操作内存中的输入数据副本，awk不会修改输入文件的内容。

8) awk的总是输出到标准输出，如果想让awk输出到文件，可以使用重定向。

4.awk_pattern

awk_pattern模式部分决定actions动作部分何时触发及触发actions。awk_pattern可以是以下几种类型:

1) 正则表达式用作awk_pattern: /regexp/

① awk中正则表达式匹配操作中经常用到的字符:

\ ^ $ . [] | () * // 通用的regexp元字符

+ : 匹配其前的单个字符一次以上，是awk自有的元字符，不适用于grep或sed等

? : 匹配其前的单个字符1次或0次，是awk自有的元字符，不适用于grep或sed等

② 举例:

awk '/ *\$0\.[0-9][0-9].*/' input_file

2) 布尔表达式用作awk_pattern，表达式成立时，触发相应的actions执行。

① 表达式中可以使用变量(如字段变量$1,$2等)和/regexp/

② 布尔表达式中的操作符:

关系操作符: < > <= >= == !=

匹配操作符: value ~ /regexp/ 如果value匹配/regexp/，则返回真

value !~ /regexp/ 如果value不匹配/regexp/，则返回真

举例: awk '$2 > 10 {print "ok"}' input_file

awk '$3 ~ /^d/ {print "ok"}' input_file

③ &&(与) 和 ||(或) 可以连接两个/regexp/或者布尔表达式，构成混合表达式。!(非) 可以用于布尔表达式或者/regexp/之前。

举例: awk '($1 < 10 ) && ($2 > 10) {print "ok"}' input_file

awk '/^d/ || /x$/ {print "ok"}' input_file

④ 其它表达式用作awk_script，如赋值表达式等

eg: awk '(tot+=$6); END{print "total points :" tot }' input_file // 分号不能省略

awk 'tot+=$6 {print $0} END{print "total points :" tot }' input_file // 与上面等效

awk 用法例举：

变量名 含义

ARGC 命令行变元个数

ARGV 命令行变元数组

FILENAME 当前输入文件名

FNR 当前文件中的记录号

FS 输入域分隔符，默认为一个空格

RS 输入记录分隔符

NF 当前记录里域个数

NR 到目前为止记录数

OFS 输出域分隔符

ORS 输出记录分隔符

1、awk '/101/' file 显示文件file中包含101的匹配行。

awk '/101/,/105/' file

awk '$1 == 5' file

awk '$1 == "CT"' file 注意必须带双引号

awk '$1 * $2 >100 ' file

awk '$2 >5 && $2<=15' file

2、awk '{print NR,NF,$1,$NF,}' file 显示文件file的当前记录号、域数和每一行的第一个和最后一个域。

awk '/101/ {print $1,$2 + 10}' file 显示文件file的匹配行的第一、二个域加10。

awk '/101/ {print $1$2}' file

awk '/101/ {print $1 $2}' file 显示文件file的匹配行的第一、二个域，但显示时域中间没有分隔符。

3、df | awk '$4>1000000 ' 通过管道符获得输入，如：显示第4个域满足条件的行。

4、awk -F "|" '{print $1}' file 按照新的分隔符“|”进行操作。

awk 'BEGIN { FS="[: \t|]" }

{print $1,$2,$3}' file 通过设置输入分隔符（FS="[: \t|]"）修改输入分隔符。

Sep="|"

awk -F $Sep '{print $1}' file 按照环境变量Sep的值做为分隔符。

awk -F '[ :\t|]' '{print $1}' file 按照正则表达式的值做为分隔符，这里代表空格、:、TAB、|同时做为分隔符。

awk -F '[][]' '{print $1}' file 按照正则表达式的值做为分隔符，这里代表[、]

5、awk -f awkfile file 通过文件awkfile的内容依次进行控制。

cat awkfile

/101/{print "\047 Hello! \047"} --遇到匹配行以后打印 ' Hello! '.\047代表单引号。

{print $1,$2} --因为没有模式控制，打印每一行的前两个域。

6、awk '$1 ~ /101/ {print $1}' file 显示文件中第一个域匹配101的行（记录）。

7、awk 'BEGIN { OFS="%"}

{print $1,$2}' file 通过设置输出分隔符（OFS="%"）修改输出格式。

8、awk 'BEGIN { max=100 ;print "max=" max} BEGIN 表示在处理任意行之前进行的操作。

{max=($1 >max ?$1:max); print $1,"Now max is "max}' file 取得文件第一个域的最大值。

（表达式1?表达式2:表达式3 相当于：

if (表达式1)

表达式2

else

表达式3

awk '{print ($1>4 ? "high "$1: "low "$1)}' file

9、awk '$1 * $2 >100 {print $1}' file 显示文件中第一个域匹配101的行（记录）。

10、awk '{$1 == 'Chi' {$3 = 'China'; print}' file 找到匹配行后先将第3个域替换后再显示该行（记录）。

awk '{$7 %= 3; print $7}' file 将第7域被3除，并将余数赋给第7域再打印。

11、awk '/tom/ {wage=$2+$3; printf wage}' file 找到匹配行后为变量wage赋值并打印该变量。

12、awk '/tom/ {count++;}

END {print "tom was found "count" times"}' file END表示在所有输入行处理完后进行处理。

13、awk 'gsub(/\$/,"");gsub(/,/,""); cost+=$4;

END {print "The total is $" cost>"filename"}' file gsub函数用空串替换$和,再将结果输出到filename中。

1 2 3 $1,200.00

1 2 3 $2,300.00

1 2 3 $4,000.00

awk '{gsub(/\$/,"");gsub(/,/,"");

if ($4>1000&&$4<2000) c1+=$4;

else if ($4>2000&&$4<3000) c2+=$4;

else if ($4>3000&&$4<4000) c3+=$4;

else c4+=$4; }

END {printf "c1=[%d];c2=[%d];c3=[%d];c4=[%d]\n",c1,c2,c3,c4}"' file

通过if和else if完成条件语句

awk '{gsub(/\$/,"");gsub(/,/,"");

if ($4>3000&&$4<4000) exit;

else c4+=$4; }

END {printf "c1=[%d];c2=[%d];c3=[%d];c4=[%d]\n",c1,c2,c3,c4}"' file

通过exit在某条件时退出，但是仍执行END操作。

awk '{gsub(/\$/,"");gsub(/,/,"");

if ($4>3000) next;

else c4+=$4; }

END {printf "c4=[%d]\n",c4}"' file

通过next在某条件时跳过该行，对下一行执行操作。

14、awk '{ print FILENAME,$0 }' file1 file2 file3>fileall 把file1、file2、file3的文件内容全部写到fileall中，格式为

打印文件并前置文件名。

15、awk ' $1!=previous { close(previous); previous=$1 }

{print substr($0,index($0," ") +1)>$1}' fileall 把合并后的文件重新分拆为3个文件。并与原文件一致。

16、awk 'BEGIN {"date"|getline d; print d}' 通过管道把date的执行结果送给getline，并赋给变量d，然后打印。

17、awk 'BEGIN {system("echo "Input your name:\\c""); getline d;print "\nYour name is",d,"\b!\n"}'

通过getline命令交互输入name，并显示出来。

awk 'BEGIN {FS=":"; while(getline< "/etc/passwd" >0) { if($1~"050[0-9]_") print $1}}'

打印/etc/passwd文件中用户名包含050x_的用户名。

18、awk '{ i=1;while(i<NF) {print NF,$i;i++}}' file 通过while语句实现循环。

awk '{ for(i=1;i<NF;i++) {print NF,$i}}' file 通过for语句实现循环。

type file|awk -F "/" '

{ for(i=1;i<NF;i++)

{ if(i==NF-1) { printf "%s",$i }

else { printf "%s/",$i } }}' 显示一个文件的全路径。

用for和if显示日期

awk 'BEGIN {

for(j=1;j<=12;j++)

{ flag=0;

printf "\n%d月份\n",j;

for(i=1;i<=31;i++)

{

if (j==2&&i>28) flag=1;

if ((j==4||j==6||j==9||j==11)&&i>30) flag=1;

if (flag==0) {printf "%02d%02d ",j,i}

}

}

}'

19、在awk中调用系统变量必须用单引号，如果是双引号，则表示字符串

Flag=abcd

awk '{print '$Flag'}' 结果为abcd

awk '{print "$Flag"}' 结果为$Flag

附录： 

1.awk的常规表达式元字符 

换码序列 

^ 在字符串的开头开始匹配 

$ 在字符串的结尾开始匹配 

. 与任何单个字符串匹配 

[ABC] 与[]内的任一字符匹配 

[A-Ca-c] 与A-C及a-c范围内的字符匹配（按字母表顺序） 

[^ABC] 与除[]内的所有字符以外的任一字符匹配 

Desk|Chair 与Desk和Chair中的任一个匹配 

[ABC][DEF] 关联。与A、B、C中的任一字符匹配，且其后要跟D、E、F中的任一个字符。 

* 与A、B或C中任一个出现0次或多次的字符相匹配 

+ 与A、B或C中任何一个出现1次或多次的字符相匹配 

？ 与一个空串或A、B或C在任何一个字符相匹配 

（Blue|Black）berry 合并常规表达式，与Blueberry或Blackberry相匹配 

2.awk算术运算符 

运算符 用途 

------------------ 

x^y x的y次幂 

x**y 同上 

x%y 计算x/y的余数（求模） 

x+y x加y 

x-y x减y 

x*y x乘y 

x/y x除y 

-y 负y(y的开关符号);也称一目减 

++y y加1后使用y(前置加） 

y++ 使用y值后加1（后缀加） 

--y y减1后使用y(前置减） 

y-- 使用后y减1(后缀减） 

x=y 将y的值赋给x 

x+=y 将x+y的值赋给x 

x-=y 将x-y的值赋给x 

x*=y 将x*y的值赋给x 

x/=y 将x/y的值赋给x x%=y 将x%y的值赋给x 

x^=y 将x^y的值赋给x 

x**=y 将x**y的值赋给x 

3.awk允许的测试： 

操作符 含义 

x==y x等于y 

x!=y x不等于y 

x>y x大于y 

x>=y x大于或等于y 

x<y x小于y 

x<=y x小于或等于y? 

x~re x匹配正则表达式re? 

x!~re x不匹配正则表达式re? 

4.awk的操作符(按优先级升序排列) 

= 、+=、 -=、 *= 、/= 、 %= 

|| 

&& 

> >= < <= == != ~ !~ 

xy (字符串连结，'x'y'变成"xy"） 

+ - 

* / % 

++ -- 

5.awk内置变量（预定义变量） 

说明：表中v项表示第一个支持变量的工具（下同）：A=awk，N=nawk,P=POSIX awk,G=gawk 

V 变量 含义 缺省值 

-------------------------------------------------------- 

N ARGC 命令行参数个数 

G ARGIND 当前被处理文件的ARGV标志符 

N ARGV 命令行参数数组 

G CONVFMT 数字转换格式 %.6g 

P ENVIRON UNIX环境变量 

N ERRNO UNIX系统错误消息 

G FIELDWIDTHS 输入字段宽度的空白分隔字符串 

A FILENAME 当前输入文件的名字 

P FNR 当前记录数 

A FS 输入字段分隔符 空格 

G IGNORECASE 控制大小写敏感0（大小写敏感） 

A NF 当前记录中的字段个数 

A NR 已经读出的记录数 

A OFMT 数字的输出格式 %.6g 

A OFS 输出字段分隔符 空格 

A ORS 输出的记录分隔符 新行 

A RS 输入的记录他隔符 新行 

N RSTART 被匹配函数匹配的字符串首 

N RLENGTH 被匹配函数匹配的字符串长度 

N SUBSEP 下标分隔符 "34" 

6.awk的内置函数 

V 函数 用途或返回值 

------------------------------------------------ 

N gsub(reg,string,target) 每次常规表达式reg匹配时替换target中的string 

N index(search,string) 返回string中search串的位置 

A length(string) 求串string中的字符个数 

N match(string,reg) 返回常规表达式reg匹配的string中的位置 

N printf(format,variable) 格式化输出，按format提供的格式输出变量variable。 

N split(string,store,delim) 根据分界符delim,分解string为store的数组元素 

N sprintf(format,variable) 返回一个包含基于format的格式化数据，variables是要放到串中的数据 

G strftime(format,timestamp) 返回一个基于format的日期或者时间串，timestmp是systime()函数返回的时间 

N sub(reg,string,target) 第一次当常规表达式reg匹配，替换target串中的字符串 

A substr(string,position,len) 返回一个以position开始len个字符的子串 

P totower(string) 返回string中对应的小写字符 

P toupper(string) 返回string中对应的大写字符 

A atan(x,y) x的余切(弧度) 

N cos(x) x的余弦(弧度) 

A exp(x) e的x幂 

A int(x) x的整数部分 

A log(x) x的自然对数值 

N rand() 0-1之间的随机数 

N sin(x) x的正弦(弧度) 

A sqrt(x) x的平方根 

A srand(x) 初始化随机数发生器。如果忽略x，则使用system() 

G system() 返回自1970年1月1日以来经过的时间（按秒计算）