awk 学习（三） 应用示例+

AWK简单内置变量的使用

awk 'NR==FNR{print "处理文件a"} NR > FNR{print "处理文件b"}'a b

输入文件a和b，由于先扫描a，所以扫描a的时候必然有NR==FNR，然后扫描b的时候，FNR从1开始计数，而NR则接着a的行数继续计数，所以NR> FNR

NR 已经读出的记录数

FNR   当前文件的记录数

FS 输入字段分隔符（缺省为:space:），相当于-F选项

awk -F ':' '{print}'a   和   awk 'BEGIN{FS=":"}{print}' a是一样的

OFS输出字段分隔符（缺省为:space:）

awk -F ':' 'BEGIN{OFS=";"}{print $1,$2,$3}' b

如果cat b为

1:2:3

4:5:6

那么把OFS设置成";"后就会输出

1;2;3

4;5;6

NF：当前记录中的字段个数

awk -F ':' '{print NF}' b的输出为

3

3

表明b的每一行用分隔符":"分割后都3个字段

可以用NF来控制输出符合要求的字段数的行，这样可以处理掉一些异常的行

awk -F ':' '{if (NF == 3)print}' b

RS：输入记录分隔符，缺省为"\n"

缺省情况下，awk把一行看作一个记录；如果设置了RS，那么awk按照RS来分割记录

例如，如果文件c，cat c为

hello world; I want to go swimming tomorrow;hiahia

运行 awk 'BEGIN{ RS = ";" } {print}' c 的结果为

hello world

I want to go swimming tomorrow

hiahia

合理的使用RS和FS可以使得awk处理更多模式的文档，例如可以一次处理多行，例如文档d cat d的输出为

1 2

3 4 5

\n

6 7

8 9 10

11 12

\n

hello

每个记录使用空行分割，每个字段使用换行符分割，这样的awk也很好写

awk 'BEGIN{ FS = "\n"; RS = ""} {print NF}' d 输出

2

3

1

ORS：输出记录分隔符，缺省为换行符，控制每个print语句后的输出符号

awk 'BEGIN{ FS = "\n"; RS = ""; ORS = ";"} {print NF}' d 输出

2;3;1

搜索有关键字kehuanyu的所有行，没有指定action

kehuanyu@coship:~/test/MMCP/awktest$ awk -F ":" '/kehuanyu/' password

kehuanyu:x:1005:1004:柯环宇:/home/kehuanyu:/bin/bash

搜索有关键字kehuanyu的所有行，并显示对应的shell，指定action ，打印出shell

kehuanyu@coship:~/test/MMCP/awktest$ awk -F ":" '/kehuanyu/ {print $NF}' password

/bin/bash

打印出系统最后几名登陆者

kehuanyu@coship:~/test/MMCP/awktest$ last -n 8 |awk '{print $1 }'

yangxian

guriyu

zhangjun

zhangjun

jiangxia

liulili

jiangxia

jiangxia

又如：

kehuanyu@coship:~/test/MMCP/awktest$ last -n 8 |awk '{print $1"\t"$2 }'

yangxian        pts/56

guriyu  pts/49

zhangjun        pts/4

zhangjun        pts/41

jiangxia        pts/27

liulili pts/11

jiangxia        pts/48

jiangxia        pts/31

自定义变量

kehuanyu@coship:~/test/MMCP/awktest$ awk '{count++;print $0;} END{print "user count is ", count}' password

root:x:0:0:root:/root:/bin/bash

daemon:x:1:1:daemon:/usr/sbin:/bin/sh

bin:x:2:2:bin:/bin:/bin/sh

.........

huangyanliang:x:1045:1045::/home/huangyanliang:/bin/bash

xuyuanchu:x:1046:1046::/home/xuyuanchu:/bin/bash

user count is  71

等同于

awk 'BEGIN {count=0;print "[start]user count is ", count} {count=count+1;print $0;} END{print "[end]user count is ", count}' password

统计某个文件夹下的文件占用的字节数

kehuanyu@coship:~/test/MMCP/awktest$ ls -l |awk 'BEGIN {size=0;} {size=size+$5;} END{print "[end]size is ", size}'

[end]size is  3657

变量名只能包含字母、数字和下划线，而且不能以数字开头

awk关系、布尔运算符、表达式

运算符 意义；

< 小于

> 大于

<= 小于等于

>= 大于等于

== 等于

!= 不等于

~ 匹配正则表达式

!~ 不匹配正则表达式

|| 逻辑或

&& 逻辑与

! 逻辑非

运算符 意义

+ 加

- 减

* 乘

/ 除

% 模

^或** 乘方

++x 在返回x值之前，x变量加1

x++ 在返回x值之后，x变量加1

 1. 正则表达式

 awk 'BEGIN {FS=”:”} $0~/root/' passwd (在passwd文件中查找 以：为分割符,全域$0与root（这个是正则表达式）匹配的行)

 结果：root:x:0:0:root:/root:/bin/bash

 awk 'BEGIN {FS=”:”} $0!~/root/' passwd (在passwd中查找  全域 不与root匹配的行)

 2. 运算符

 awk 'BEGIN {FS=":"} {if($3~7||$4~7) print $0}' passwd （将第三域 或者 第四域 包含7 的记录打印出来）

 备注：~ 与 = 区别是： = 表示某个域或者说某个字段 与值7对比；而 ~是表示正则表达式 匹配的是字串；对应不匹配应该协作 !~ ，如awk 'BEGIN {FS=":"} {if($1 !~/android/)print $0}'

       // 来包含匹配的字串

AWK数组，函数，shell与awk混合编程后续慢慢研究。