awk使用小结

2017/11/9



awk博大精深，本文仅持续更新在工作中频繁使用的方法。



【AWK】
使用逻辑判断 if else
在逻辑处理过程中调用外部指令，并使用 getline 得到输出，最终赋值给变量
#!/bin/bash
#
# 2017/11/9
# decode etcdv3 output k/v with base64

### "key": "foo",
### "value": "bar",

ETCDCTL_API=3 etcdctl get -w json --prefix '/' |jq '.' |awk -F'"' '{
    if ($2=="key") {
        "base64 -d<<< \""$4"\"" |getline $4
        print $1"\""$2"\""$3"\""$4"\""$5
    } else if ($2=="value") {
        "base64 -d<<< \""$4"\"" |getline s_decode
        if (index(s_decode, "{") != 0) {
            print $1"\""$2"\""$3s_decode$5
        } else {
            print $0
        }
    } else {
        print $0
    }
}'


在处理数据前，先赋值几个变量
awk -v dt_a=`date +%s` -v dt_b=`date +%s` 'BEGIN{if(dt_a==dt_b) {print 1} else {print 0}}'



截取一行数据中指定的2个数字做加减乘除运算：
请仔细对比下述3种方式的差异
[root@tvm01 asset]# echo 'aaa 1%, bbb 2%, ccc 3%, ddd 4%' |sed -r 's/.*([0-9]).*([0-9]).*([0-9]).*([0-9]).*/\1+\2/' |bc
3
[root@tvm01 asset]# echo 'aaa 1%, bbb 2%, ccc 3%, ddd 4%' |awk -F'%,' '{print $1$2}' |sed 's/[a-z]//g' |awk '{print $1+$2}'
3
[root@tvm01 asset]# echo 'aaa 1%, bbb 2%, ccc 3%, ddd 4%' |awk -F'[ %,]' '{print $2+$6}'                                   
3


去掉空格：
awk '{ result=gensub(/ /,"",1);print result }'

打印某一段内容：
awk '{print $7}' access.log

统计IP数量：
awk '{cs[$1]+=1} END {for(c in cs) print cs[c], c}' access.log |sort -nr

打印最后一列：
awk '{print $8 " " $NF} ' access.log

统计大小：
awk '{print $10 "  " $1 "  " $7}' access.log|awk '{B+=$1} END {print B/1024/1024 " MB"}'

统计TCP状态：
netstat -n | awk '/^tcp/ {++state[$NF]} END {for(key in state) print key,"\t",state[key]}'

统计日志中http状态码：
zcat 2013-07-15-0000-2330_test.company.com.*|awk '{print $9}'|sort|uniq -c|sort -nr|more

统计日志格式最后一行是源站IP的对应数据：
zcat 2013-07-15-*|awk '$7~/test.company.com/{print $NF}'|sort|uniq -c|sort -nr|head

统计日志中第2行超过1M大小的URL，并打印第2行的大小和第3行的URL
awk '$2~/.*M/ {print $2"\t"$3}' access.log

统计日志中18点访问test.company.com，状态码为200的数据，打印响应时间和源站地址：
zcat 2013-07-15-18*|grep test.company.com|awk '$9=="200"{print $(NF-7),$NF}'|sort|uniq -c|sort -nr|more

统计延时超过100ms的请求：
zcat 2013-07-15-18*|grep test.company.com|awk '$9=="0"&&$(NF-7)>100 {print $(NF-7)}'|sort|uniq -c|sort -nr|more

NR：整个脚本当前已经读过的记录数，就是行号，从1开始。随着所读文件的数目，一直累加。
FNR：同NR，不过是相对于当前在读的文件记录数。每开始读一个文件时，从1开始累加，相当于行号。读完一个文件后就会清0，新的文件又会从1开始。
http://in.sdo.com/?p=1054

统计http code为502的数量，IP
假设有以下文件：
cs.502 ： 统计了出现502的次数和IP，格式为“次数  IP”
cs.502.ip ： 从cs.502中筛选出IP，格式为“IP”
cs.502.country ： 利用qqwry做IP到地理位置的转换，格式为“IP  地理位置”
现在的需求是，把cs.502和cs.502.country合并

awk 'NR==FNR {a[$2]=$0;next} NR>FNR {print a[$1] " "$2}' cs.502 cs.502.country >cs.502.log

计算http code 海外相对全部的占比是多少
test.all 的内容是：
46255 0
967 504
218 502

test.oversea 的内容是：
1171 0
408 504
205 502

awk 'NR==FNR {a[$2]=$1;next} NR>FNR {printf "%.2f% ", $1/a[$2]*100;print $2}' test.all test.oversea 
2.53% 0
42.19% 504
94.04% 502

计算百分比：
echo 55 4001638 |awk '{printf "%.4f%\n",$1/$2*100}'

根据后3位来排序：
1231234214329049203
4239049230492039402
3209402394023940234
awk '{print $0,substr($0,length($0)-2,3)}' x.txt |sort -n -k 2 | awk '{print $1}'
sed -r 's/(.*)((.){3})/\1|\2/' test.txt |sort -n -k 2 -t \| |sed 's/|//g'


去重 
awk '!a[$1]++' test.log

展示df的简单版本，只显示磁盘分区和对应的used的值：
df -h |sed '1d' |egrep -v ""/dev/shm"|"/dev/mapper"" |awk '{print $NF"\t"$(NF-1)}' |while read a b; do echo "$a used: $b"; done

统计swap占用的进程：
for i in `cd /proc;ls |grep "^[0-9]"|awk ' $0 >100'` ;do awk '/Swap:/{a=a+$2}END{print '"$i"',a/1024"M"}' /proc/$i/smaps ;done |sort -k2nr |head

统计最小值，使用 BEGIN 来初始化变量，if做循环判断，END输出结果
test.log：
96.3738
95.72002499999999
96.78004999999999
95.8748
96.146125
96.7587
96.11826666666666
96.69625
95.88227499999999
96.4341


# cat test.log |awk 'BEGIN {min=100} {if ($1<min) {min=$1;x=$1}} END {print x}'
95.72002499999999

统计服务器的cpu，内存和磁盘信息，截取小数点，四舍五入
echo `hostname` |cut -d'.' -f1 \
&& echo `cat /proc/cpuinfo |grep processor |wc -l`'C' |tr '\n' '|' \
&& cat /proc/meminfo |grep 'MemTotal' |awk '{m=$(NF-1)/1024/1024;print m"G"}' |tr '\n' '|' \
&& lsblk -o SIZE,TYPE,MOUNTPOINT |grep -E '(data|disk1)' |awk '{print $1}' \
&& echo && lsblk -o SIZE,TYPE,MOUNTPOINT && free -m |grep Mem |awk '{print "Mem="$2"M"}'



参考
1、Getline 
https://www.gnu.org/software/gawk/manual/html_node/Getline_002fVariable_002fPipe.html#Getline_002fVariable_002fPipe