UNIT38 awk常见应用

最新推荐文章于 2024-09-22 21:39:30 发布

动力小刚

最新推荐文章于 2024-09-22 21:39:30 发布

阅读量399

点赞数

分类专栏：动力小刚自编shell教程

本文链接：https://blog.csdn.net/zcs0237/article/details/9257837

版权

动力小刚自编shell教程专栏收录该内容

47 篇文章 1 订阅

订阅专栏

一.awk 查看ip连接数

处理文本，是awk的强项了。无论性能已经速度都是让人惊叹！

$ awk 'BEGIN{

while("netstat -an"|getline){

if( $5 ~ /[1-255]/)

{

split($5,t1,":");

tarr[t1[1]]++;

}

for(k in tarr)

{

print k,tarr[k] | "sort -r -n -k2";

}

};'

$5是netstat –an 第5个字段。默认就是对方连接ip以及端口。

$ time awk 'BEGIN{while("netstat -an"|getline){if( $5 ~ /[1-255]/){split($5,t1,":");tarr[t1[1]]++;}}for(k in tarr){print k,tarr[k] | "sort -r -n -k2";}};'

211.151.33.14 28

113.65.21.200 14

121.32.89.106 13

60.191.178.230 12

118.133.177.104 12

58.61.152.154 11

real 0m1.149s

user 0m0.032s

sys 0m1.055s

awk常见应用系列，会一直更新！我会把这些年我在服务器管理方面一些代码总结归纳与朋友共同学习。

二.awk实现实时监控网卡流量脚本

通过第3方工具获得网卡流量，这个大家一定很清楚。其实通过脚本一样可以实现效果。下面是我个人工作中整理的数据。以下是shell脚本统计网卡流量。

实现原理：

$ cat /proc/net/dev

Inter-| Receive | Transmit

face |bytes packets errs drop fifo frame compressed multicast|bytes packets errs drop fifo colls carrier compressed

lo:1068205690 1288942839 0 0 0 0 0 0 1068205690 1288942839 0 0 0 0 0 0

eth0:91581844 334143895 0 0 0 0 0 145541676 4205113078 3435231517 0 0 0 0 0 0

proc/net/dev 文件保存了网卡总流量信息，通过间隔一段间隔，将入网卡与出记录加起来。减去之前就得到实际速率。

程序代码：

awk 'BEGIN{

OFMT="%.3f";

devf="/proc/net/dev";

while(("cat "devf) | getline)

{

if($0 ~ /:/ && ($10+0) > 0)

{

split($1,tarr,":");

net[tarr[1]]=$10+tarr[2];

print tarr[1],$10+tarr[2];

}

close(devf);

while((system("sleep 1 ")) >=0)

{

system("clear");

while( getline < devf )

{

if($0 ~ /:/ && ($10+0) > 0)

{

split($1,tarr,":");

if(tarr[1] in net)

{

print tarr[1],":",($10+tarr[2]-net[tarr[1]])*8/1024,"kb/s";

net[tarr[1]]=$10+tarr[2];

}

close(devf);

}

说明：第一个while 是获得总的初始值，$1是网卡出流量，$10是网卡进流量。第2个while会间隔1秒钟启动一次。计算总流量差得到平均每秒流量。

注意：通过getline 逐行读取文件，需要close关闭。否则在第2次while循环中不能获得数据。

三.awk 分析web日志（页面执行时间）

前一段时间，我写过一篇文章，shell脚本分析 nginx日志访问次数最多及最耗时的页面(慢查询），其中提到了分析耗时页面重要性。今天主要讲的，是通过awk分析日志，快捷得到执行时间。在性能以及效率方面比前一篇提到的有很大提高！

1.web日志文件格式

222.83.181.42 - - [09/Oct/2010:04:04:03 +0800] GET /pages/international/tejia.php HTTP/1.1 "200" 15708 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; Sicent; WoShiHoney.B; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729)" "-" 0.037

按照空格分隔的话，最后一个字段[0.037] 是页面执行时间，第7个字段是页面访问地址。

2.执行代码

awk 'BEGIN{

print "Enter log file:";

getline logs;

#logs="/var/log/nginx/access.log-20101008";

OFMT="%.3f";

while(getline < logs)

{

split($7,atmp,"?");

aListNum[atmp[1]]+=1;

aListTime[atmp[1]]+=$NF;