Shell Script——处理文本的命令总结（三）awk

AWK

• awk是一个强大的文本分析工具。
  相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。
  简单来说awk就是把文件逐行的读入，（空格，制表符）为默认分隔符将每行切片，切开的部分再进行各种分析处理。

• awk -F ‘{pattern + action}’ {filenames}

  –支持自定义分隔符

  –支持正则表达式匹配

  –支持自定义变量，数组 a[1] a[tom] map(key)

  –支持内置变量

  •ARGC 命令行参数个数

  •ARGV 命令行参数排列

  •ENVIRON 支持队列中系统环境变量的使用

  •FILENAME awk浏览的文件名

  •FNR 浏览文件的记录数

  •FS 设置输入域分隔符，等价于命令行 -F选项

  •NF 浏览记录的域的个数

  •NR 已读的记录数

  •OFS 输出域分隔符

  •ORS 输出记录分隔符

  •RS 控制记录分隔符

  –支持函数

  •print、split、substr、sub、gsub

  –支持流程控制语句，类C语言

  if、while、do/while、for、break、continue
  编辑一份score.txt文件

[root@one ~]# vi score.txt
[root@one ~]# cat score.txt
zhangsan 2000-01-11 html 90
lisi 2000-02-11 java 70
zhangsan 2000-01-22 java 80
lisi 2000-01-11 math 60
xiaoming 2000-01-11 html 80
xiaoming 2000-01-11 math 40 

将相同科目的成绩相加

[root@one ~]# awk '{score[$3]+=$4} END{for(i in score) print i "\t" score[i]}' score.txt
java	150
html	170
math	100

根据日期中的月份，分组

[root@one ~]# awk '{split($2,date,"-");score[date[2]]+=$4} END{for(i in score) print i "\t" score[i]}' score.txt
01	350
02	70

利用substr提取年月并依据此将数据相加（分组，相当于group by）

[root@one ~]# awk '{score[substr($2,1,7)]+=$4} END{for(i in score) print i "\t" score[i]}' score.txt
2000-01	350
2000-02	70