一、AWK是一个非常强大的文本处理命令。
二、命令格式如下:
awk [-F|-f|-v] ‘BEGIN{} //{command1; command2} END{}’ file
[-F|-f|-v] 大参数,-F指定分隔符,-f调用脚本,-v定义变量 var=value
' ' 引用代码块
BEGIN 初始化代码块,在对每一行进行处理之前,初始化代码,主要是引用全局变量,设置FS分隔符
// 匹配代码块,可以是字符串或正则表达式
{} 命令代码块,包含一条或多条命令
; 多条命令使用分号分隔
END 结尾代码块,在对每一行进行处理之后再执行的代码块,主要是进行最终计算或输出结尾摘要信息
三、重要符号的说明:
特殊要点:
$0 表示整个当前行
$1 每行第一个字段
NF 字段数量变量
NR 每行的记录号,多文件记录递增
FNR 与NR类似,不过多文件记录不递增,每个文件都从1开始
\t 制表符
\n 换行符
FS BEGIN时定义分隔符
RS 输入的记录分隔符, 默认为换行符(即文本是按一行一行输入)
~ 匹配,与==相比不是精确比较
!~ 不匹配,不精确比较
== 等于,必须全部相等,精确比较
!= 不等于,精确比较
&& 逻辑与
|| 逻辑或
+ 匹配时表示1个或1个以上
/[0-9][0-9]+/ 两个或两个以上数字
/[0-9][0-9]*/ 一个或一个以上数字
FILENAME 文件名
OFS 输出字段分隔符, 默认也是空格,可以改为制表符等
ORS 输出的记录分隔符,默认为换行符,即处理结果也是一行一行输出到屏幕
-F'[:#/]' 定义三个分隔符
四、使用案例:
1、定义变量AA
# AA="hello:world:ni:hao:ma"
2、将变量内容导入到文件中
# echo $AA>/u03/test.log
3、打开/u03/test.log文件,将里面的内容多复制/粘贴几行
4、查看每行有多少个字段
# awk -F ":" '{print NF}' /u03/test.log
其中,-F ":"表示指定分隔符为":",'{print NF}'表示每行字段数量变量,/u03/test.log表示目标文件
# awk -F ":" '{print NF}' /u03/test.log
5 -----结果为5个字段
5、查看文件/u03/test.log的全部内容
# awk -F ":" '{print $0}' /u03/test.log
hello:world:ni:hao:ma
hello:world:ni:hao:ma
hello:world:ni:hao:ma
hello:world:ni:hao:ma
hello:world:ni:hao:ma
hello:world:ni:hao:ma
hello:world:ni:hao:ma
6、查看每行的第一个字段
[root@source ~]# awk -F ":" '{print $1}' /u03/test.log
hello
hello
hello
hello
hello
hello
hello
7、查看每行的记录号
# awk -F ":" '{print NR}' /u03/test.log
1
2
3
4
5
6
7
8
9
10
11
五、关于AWK中的print
print 是awk打印指定内容的主要命令
1、AWK中print与$0是等价的
# awk '{print}' /u03/test.log 或者写成:awk -F ":" '{print}' /u03/test.log
hello:world:ni:hao:ma
hello:world:ni:hao:ma
hello:world:ni:hao:ma
hello:world:ni:hao:ma
hello:world:ni:hao:ma
hello:world:ni:hao:ma
hello:world:ni:hao:ma
# awk -F ":" '{print $0}' /u03/test.log
hello:world:ni:hao:ma
hello:world:ni:hao:ma
hello:world:ni:hao:ma
hello:world:ni:hao:ma
hello:world:ni:hao:ma
hello:world:ni:hao:ma
hello:world:ni:hao:ma
2、输出第一个字段
# awk -F ":" '{print $1}' /u03/test.log
hello
hello
hello
hello
hello
hello
hello
3、输出第1、2、3个字段(换行了)
[root@source ~]# awk -F ":" '{print $1;print $2;print $3}' /u03/test.log
hello
world
ni
hello
world
ni
hello
world
ni
hello
world
ni
hello
world
ni
hello
world
ni
hello
world
ni
4、输出第1、2、3个字段,以制表符作为分隔符
# awk -F: '{print $1,$2,$3}' OFS="\t" /u03/test.log
hello world ni
hello world ni
hello world ni
hello world ni
hello world ni
hello world ni
hello world ni
5、将每行内容替换为字母a
# awk -F ":" '{print "a"}' /u03/test.log
a
a
a
a
a
a
a
a
a
a
a
六、awk参数-f指定脚本文件
1、创建脚本文件/u03/test.awk,内容如下:
# touch test.awk
# vim test.awk
BEGIN{
FS=":"
}
{print $1}
执行命令:# awk -f /u03/test.awk /u03/test.log
效果与awk -F ":" '{print $1}' 相同, /u03/test.log只是分隔符使用FS在代码自身中指定
2、统计test文件中的空行
test文件内容如下:
# cat test
hello:world:me
How:are:you
ni:X:ma:XXXX
XX:yX
执行命令:
# awk 'BEGIN{X=0} /^$/{ X+=1 } END{print "I find",X,"blank lines."}' test
I find 3 blank lines.
3、计算/u03目录下文件的总大小
# pwd
/u03
# ls -la
total 24
drwxrwxr-x. 2 oracle oinstall 4096 Feb 28 11:20 .
dr-xr-xr-x. 30 root root 4096 Feb 28 09:30 ..
-rw-r--r--. 1 root root 49 Feb 28 11:20 test
-rw-r--r--. 1 root root 67 Feb 28 11:06 test1.awk
-rw-r--r--. 1 root root 27 Feb 28 10:59 test.awk
-rw-r--r--. 1 root root 158 Feb 28 10:30 test.log
执行命令:
# ls -l|awk 'BEGIN{sum=0} !/^d/{sum+=$5} END{print "total size is",sum}'
total size is 301