参考资料：
http://www.cnblogs.com/ggjucheng/archive/2013/01/13/2858470.html
http://www.gnu.org/software/gawk/manual/gawk.html
背景
前段时间负责的一个项目遭遇大流量冲击，流量比平时大了10倍左右，虽然通过扩容解决了问题，想统计下系统在出事的时间段访问IP、对应访问次数以及每个方法的平均耗时时间，看看出问题的源头。还有就是用AWK一段时间了，学习总结下,温故知新。
笔记
认知
AWK是一个优良的文本处理工具。
- awk是行处理器: 相比较屏幕处理的优点，在处理庞大文件时不会出现内存溢出或是处理缓慢的问题，通常用来格式化文本信息；
- awk处理过程: 依次对每一行进行处理，然后输出；
命令
| 命令行方式 *1.[-F field-separator] [-F域分隔符]可选， 默认是空格，如果需要可使用多个分割（多个分割使用|）。 |
1.last -n 5 | awk '{print $1}'
工作流程：读入有'\n'换行符分割的一条记录，然后将记录按指定的域分隔符划分域，填充域，$0则表示所有域,$1表示第一个域,$n表示第n个域。默认域分隔符是"空白键" 或 "[tab]键",所以$1表示登录用户，$3表示登录用户ip,以此类推。
2.cat /etc/passwd |awk -F ':' 'BEGIN {print "name,shell"} {print $1","$7} END {print "blue,/bin/nosh"}'
awk工作流程：先执行BEGING，然后读取文件，读入有/n换行符分割的一条记录，然后将记录按指定的域分隔符划分域，填充域，$0则表示所有域,$1表示第一个域,$n表示第n个域,随后开始执行模式所对应的动作action。接着开始读入第二条记录······直到所有的记录都读完，最后执行END操作。
commands
awk内置变量
awk有许多内置变量用来设置环境信息，这些变量可以被改变，下面给出了最常用的一些变量。
ARGC 命令行参数个数 ARGV 命令行参数排列 ENVIRON 支持队列中系统环境变量的使用 FILENAME awk浏览的文件名 FNR 浏览文件的记录数 FS 设置输入域分隔符，等价于命令行 -F选项 NF 浏览记录的域的个数 NR 已读的记录数 OFS 输出域分隔符 ORS 输出记录分隔符 RS 控制记录分隔符 |
测试下
#awk -F ':' '{print "filename:" FILENAME ",linenumber:" NR ",columns:" NF ",linecontent:"$0}' /etc/passwd
filename:/etc/passwd,linenumber:1,columns:7,linecontent:root:x:0:0:root:/root:/bin/bash
filename:/etc/passwd,linenumber:2,columns:7,linecontent:daemon:x:1:1:daemon:/usr/sbin:/bin/sh
filename:/etc/passwd,linenumber:3,columns:7,linecontent:bin:x:2:2:bin:/bin:/bin/sh
filename:/etc/passwd,linenumber:4,columns:7,linecontent:sys:x:3:3:sys:/dev:/bin/sh |
print和printf
| print函数的参数可以是变量、数值或者字符串：字符串必须用双引号引用，参数用逗号分隔; printf函数，其用法和c语言中printf基本相似,可以格式化字符串,输出复杂时，printf更加好用，代码更易懂; |
变量和赋值
awk -F '缓存中找不到,订单:|司机:' 'BEGIN{count=0;print "start"} {count=count+1;print $2} END{print "end " count}' suyun-driverscore-server-err.log |
自定义变量count，统计以‘缓存中找不到,订单:’或'司机:'分割数量
统计某个文件夹下的文件占用的字节数
ls -l |awk 'BEGIN {size=0;} {size=size+$5;} END{print "[end]size is ", size}'
[end]size is 8657198
数组
| 因为awk中数组的下标可以是数字和字母，数组的下标通常被称为关键字(key)。值和关键字都存储在内部的一张针对key/value应用hash的表格里。由于hash不是顺序存储，因此在显示数组内容时会发现，它们并不是按照你预料的顺序显示出来的。数组和变量一样，都是在使用时自动创建的，awk也同样会自动判断其存储的是数字还是字符串。一般而言，awk中的数组用来从记录中收集信息，可以用于计算总和、统计单词以及跟踪模板被匹配的次数等等。 |
awk -F ':' 'BEGIN {count=0;} {name[count] = $1;count++;}; END{for (i = 0; i < NR; i++) print i, name[i]}' /etc/passwd0 root
1 daemon
2 bin
3 sys
4 sync5 games
......
//匹配代码块
//纯字符匹配 !//纯字符不匹配 ~//字段值匹配 !~//字段值不匹配 ~/a1|a2/字段值匹配a1或a2
| awk '/mysql/' /etc/passwd awk '/mysql/{print }' /etc/passwd awk '/mysql/{print $0}' /etc/passwd //三条指令结果一样 awk '!/mysql/{print $0}' /etc/passwd //输出不匹配mysql的行 awk '/mysql|mail/{print}' /etc/passwd awk '!/mysql|mail/{print}' /etc/passwd awk -F: '/mail/,/mysql/{print}' /etc/passwd //区间匹配 awk '/[2][7][7]*/{print $0}' /etc/passwd //匹配包含27为数字开头的行，如27，277，2777... awk -F: '$1~/mail/{print $1}' /etc/passwd //$1匹配指定内容才显示 awk -F: '{if($1~/mail/) print $1}' /etc/passwd //与上面相同 awk -F: '$1!~/mail/{print $1}' /etc/passwd //不匹配 awk -F: '$1!~/mail|mysql/{print $1}' /etc/passwd |
条件表达式
| == != > >= awk -F":" '$1=="mysql"{print $3}' /etc/passwd awk -F":" '{if($1=="mysql") print $3}' /etc/passwd //与上面相同 awk -F":" '$1!="mysql"{print $3}' /etc/passwd //不等于 awk -F":" '$3>1000{print $3}' /etc/passwd //大于 awk -F":" '$3>=100{print $3}' /etc/passwd //大于等于 awk -F":" '$3<1{print $3}' /etc/passwd //小于 awk -F":" '$3<=1{print $3}' /etc/passwd //小于等于 |
逻辑运算符
| && || awk -F: '$1~/mail/ && $3>8 {print }' /etc/passwd //逻辑与，$1匹配mail，并且$3>8 awk -F: '{if($1~/mail/ && $3>8) print }' /etc/passwd awk -F: '$1~/mail/ || $3>1000 {print }' /etc/passwd //逻辑或 awk -F: '{if($1~/mail/ || $3>1000) print }' /etc/passwd |
数值运算
| awk -F: '$3 > 100' /etc/passwd awk -F: '$3 > 100 || $3 < 5' /etc/passwd awk -F: '$3+$4 > 200' /etc/passwd awk -F: '/mysql|mail/{print $3+10}' /etc/passwd //第三个字段加10打印 awk -F: '/mysql/{print $3-$4}' /etc/passwd //减法 awk -F: '/mysql/{print $3*$4}' /etc/passwd //求乘积 awk '/MemFree/{print $2/1024}' /proc/meminfo //除法 awk '/MemFree/{print int($2/1024)}' /proc/meminfo //取整 |
输出分隔符OFS
| awk '$6 ~ /FIN/ || NR==1 {print NR,$4,$5,$6}' OFS="\t" netstat.txt awk '$6 ~ /WAIT/ || NR==1 {print NR,$4,$5,$6}' OFS="\t" netstat.txt |
IF语句
| awk -F: '{if($3>100) print "large"; else print "small"}' /etc/passwd |
循环语句
| awk中的循环语句同样借鉴于C语言，支持while、do/while、for、break、continue，这些关键字的语义和C语言中的语义完全相同。 |
实践
服务访问日志：dubbo-access-provider.2017-03-01.log，格式如下：
| 2017-03-01 18:02:52: app consumer[程序名,IP:端口] -> provider[程序名,ip:端口] - com.xxx.xxx.xxxx.api.xxxxApi:1.0 estimateOrderScore(com.daojia.suyun.driverscore.dto.param.OrderParamDto) [{"carType":0,"cityId":18,"driverCity":18,"driverNum":0.21,"driverStr":1.9077290320830476,"grabedNum":0,"mustGrab":false,"orderId":170302128693770872,"orderType":1,"pushDistance":14723,"roundNum":0,"serviceCarType":0,"sid":40000000313809,"userId":835464077460910080}],cost:6ms DONE |
1.统计estimateOrderScore方法的访问次数 平均耗时时间
[work@37-9-5 logs]$ grep 'estimateOrderScore' dubbo-access-provider.2017-03-01.log|awk -F',cost:|ms DONE' 'BEGIN {times=0;}{times+=$2;}END{print "count:" NR,"times:" times,"avg:" times/NR}'
运行结果：count:871278 times:7218825 avg:8.28533
2.统计分布统计所有【IP:端口】在在10点 访问次数并做倒序排列
grep '2017-03-01 10' dubbo-access-provider.2017-03-01.log|awk -F 'app consumer|] -> provider' '{array[$2]++;}END {for(key in array) print array[key],key}'|sort -nr
运行结果：
126612 [,IP:30323
126549 [,IP:39729
126536 [,IP:3167
126487 [,IP:56553
........
3.查询所有方法的耗时时间：
grep 'estimateOrderScore' dubbo-access-provider.2017-03-01.log | awk -F'cost:|DONE' '{print $2}' | sort -n
运行结果：
....
679ms
700ms
1022ms
4.查询放大queryDriverScoreDetailList超过50ms的访问数量
[work@37-9-6 logs]$ grep 'queryDriverScoreDetailList' dubbo-access-provider.2017-03-01.log|awk -F 'cost:|ms DONE' 'BEGIN{count=0}{if($2>50) count+=1}END{print count}'
运行结果：
1463
总结
AWK功能很强大，线上统计，截取数据的利器。
扫一扫
203
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
