awk统计业务流量

最新推荐文章于 2022-07-05 09:59:00 发布
最新推荐文章于 2022-07-05 09:59:00 发布
阅读量1.7k 收藏
点赞数
分类专栏： 使用技巧 Linux/Unix 文章标签： 新浪微博 qq
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ChrisNiu1984/article/details/6619736
版权

我们有很多文本文件，里面保存的是流量记录。每条数据占一行，数据字段由竖线分割。

其中第7列是业务名称，如“QQ”，“开心”，“新浪微博”等。第17列为上行流量，21列为下行流量。

现在的需求是统计某一业务的流量，使用grep、cut、和expr性能无法令人满意。试了下awk果然很赞。
统计QQ业务的流量的awk命令： 

awk -F"|" '{if($7=="QQ"){send=send+$17; recv=recv+$21}} END{print "SEND="send, "RECV="recv}'file.txt


牛晨光
关注
专栏目录
linux shell脚本经典案例6---查看网卡的实时流量
初遇我ㄖ寸の热情呢？
04-14 3579
查看网卡的实时流量 一个服务器的流量，基本上可以评估出当前服务器的负载和业务的访问情况，更有利于我们对服务器有一个大致的了解 在日常监控中，流量的监控也是必不可少的 下面就是要写一个脚本，查看网卡的实时流量 ifconfig查看网卡的信息，基本上可以看到里面数据包的传输的情况 还有一个地方，是大多数工具和自己写脚本获取数据的地方 cat /proc/net/dev 这个文件记录了所有的网络设...
【愚公系列】2024年02月 《网络安全应急管理与技术实践》 016-网络安全应急技术与实践（Web层-应急响应技术总结）
最新发布
时光隧道
02-11 7万+
Web安全事件应急响应技术是指针对Web应用程序遭受风险和安全漏洞的事件，如网络攻击、数据泄露、恶意软件等，迅速采取措施进行监测、分析和应对的技术手段。应急响应技术描述1. 监测和日志分析通过实时监测和分析Web应用程序的日志，以便发现异常活动和潜在的安全威胁。2. 威胁情报收集与分析收集和分析来自多个来源的威胁情报，以帮助识别和应对潜在威胁。3. 漏洞扫描和漏洞管理通过定期对Web应用程序进行漏洞扫描，及时发现和修复潜在的安全漏洞。4. 网络流量分析。
linux-利用tcpdump抓包和awk处理写的基于端口的流量统计
08-13
利用tcpdump抓包和awk处理写的基于端口的流量统计
使用awk计算2022年7月每一分钟的流量
m0_57633272的博客
07-05 302
使用shell和awk计算每一分钟的流量
《云计算》-shell脚本编程-awk全解-web流量统计脚本(在最后面)
解启超
03-06 289
Top NSD SHELL DAY06 案例1：使用awk提取文本 案例2：awk处理条件 案例3：awk综合脚本应用 案例4：awk流程控制 案例5：awk扩展应用 1 案例1：使用awk提取文本 1.1 问题 本案例要求使用awk工具完成下列过滤任务： 练习awk工具的基本用法 提取本机的网卡流量、根分区剩余容量、获取SSH远程失败的IP地址 格式化输出/etc/passwd文件中的用户名、...
awk计算squid 日志流量
chonglianguang7366的博客
02-03 197
#!/usr/bin/awk { split($7,domain_array,"/"); domain=domain_array[3] url[domain]+=$5;}END{ for (i in url) if (url[i] > max) { max=url[i]; ...
shell实用脚本使用awk统计ng网站访问量
m0_57261942的博客
08-10 563
使用awk统计ng网站访问量、 方法一 #统计日志信息，可以找出访问者的ip， awk '{print $1}' /var/log/httpd/access_log 方法二 #可以得到哪个ip来访的次数 awk '{a[$1]++}END{for(i in a){print i,a[i]}}' /var/log/httpd/access_log 方法三 #查看日志中某个ip的出现次数，以及ip，然后按降序排列，出现次数最大的 awk '{ip[$1]++}END{for(i in ip{print
shell脚本定时统计Nginx下access.log的PV并发送给API保存到数据库
09-30
// 业务代码：保存count到数据库 } ``` 总结起来，通过shell脚本定时统计Nginx的access.log文件，我们可以有效地获取网站的访问数据，再通过API接口将这些数据传递到服务器端进行存储和分析。这种方法不仅提高了...
linux流量监控脚本
10-15
通过监控网络流量，可以及时发现网络拥塞问题，合理分配网络资源，保障业务系统的稳定运行。本文将详细介绍一个简单的Linux流量监控脚本的实现原理和具体步骤。 #### 二、脚本结构分析 该脚本主要用于监控Linux系统...
内网环境发送统计数据到企业微信
chunchunaiheliu的专栏
01-10 958
大部分公司的网站会部署在阿里云服务器上，再通过nginx代理到公司的业务服务器，为了业务服务器安全和不受到攻击，禁止了外网直接访问和直接访问外网。最近一个需求，统计调用局方接口的总次数和访问局方接口的异常次数，将统计的数据发到企业微信上。 我们的业务数据日志打印得非常详细，可以通过grep -c 命令级别可以得到总访问量和异常访问量。那么现在的问题是如果将数据发送到外...
Linux从入门到放弃 awk for循环统计每个IP的流量
欠了三年一场梦的博客
01-17 972
[root@7 test]# awk '{ y[$1]=y[$1]+$10 } END { for (z in y) print z,y[z]}' access.log | sort -rnk2 | head 114.83.184.139 31362956 117.136.66.10 22431302 116.216.30.47 21466000 223.104.5.197 21464856 1...
awk 处理反算日志流量
weixin_33802505的博客
07-05 176
awk 处理反算日志流量每小时的平均流量：[root@st01 nginx]# awk '{a[substr($4,9,7)]=a[substr($4,9,7)]+$10}END{for(i in a)print i,a[i]*8/3600000000"M/s"}' fm.kxting.log |sort -k1n2011:00 62.5697M/s2011:01 34.21...
使用awk，sort和uniq从ATS访问日志中统计出异常链接域名的次数排名
雪峰流云
03-25 1422
在运维过程中，发现portal中出现流量异常曲线， 就从排查nginx的访问日志中的异常域名开始，下面是我截获的对应时段的访问日志截图 发现里面有502,403等异常响应，我们将这段访问日志文件记为exception_peak.log。采用下面的命令来过滤出502的访问记录，并剥离出对应的访问链接的host，统计指定时段中的该host出现次数，最后逆序排名。 cat exce
使用shell统计ip的流量
weixin_34037977的博客
11-14 146
[root@oracle shell_exmple]# cat test 10.1.1.110000089 10.1.1.299877008 10.1.1.3488650 10.1.1.120789786 10.1.1.3907675765 [root@oracle shell_exmple]# awk '{a[$1]}END{...
awk 统计总金额
qq_47148037的博客
04-24 288
awk 'BEGIN {FS=":";print "统计销售金额";sum=0} {print $1;sum+=$1} END {printf "销售金额总计:%.2f\n",sum}' xs
awk命令统计访问量
Sigh～
07-02 944
awk '/.*uni_OP_READ.*\(ZF.*/{print $4}' 2013062*.log | awk -F':' '{t[$1":"$2]++}END{for(i in t)print i, t[i]}' | sort -k1 > proxy   呵呵
shell awk实现实时监控网卡流量脚本(常见应用二）
weixin_30721899的博客
10-09 263
通过第3方工具获得网卡流量，这个大家一定很清楚。其实通过脚本一样可以实现效果。下面是我个人工作中整理的数据。以下是shell脚本统计网卡流量。 实现原理： [chengmo@localhost ~]$ cat /proc/net/devInter-| Receive | Trans...
使用awk 统计分析游戏后台日志中的数据
沙子哥的博客
08-29 1225
awk是Unix/Linux环境下一种非常好的语言，适合于文本处理和报表生成，它还有许多精心设计的特性，允许进行特殊技巧程序设计。对于从游戏日志中抽取一些特定的信息，使用awk就非常方便。鉴于在测试工作中awk命令的重要性，因此仅以本文作一个提纲挈领的介绍，希望对初学者迅速掌握awk有所帮助。 一、awk基础语法 假设一个游戏日志名为dayreport.log，内容如下： 2014-07-
SaaS服务商如何通过数加平台统计业务流量
weixin_33921089的博客
11-14 178
摘要： 一、概述 因为自家公司是做B2B类Saas服务的，难免会产生精准计费的问题，所以在通过多套方案的选型及对比以后，我们最终确定了以下的方式进行自有业务平台的流量计算方案。因为涉及到具体的操作，所以阅读本文的前提是我默认您已经具备了阿里云相关产品的使用经验。一、概述因为自家公司是做B2B类Saas服务的，难免会产生精准计费的问题，所以在通过多套方案的选型及对比以后，我们最终确定了以下的方式进行...
awk 统计字符数量
09-11
要使用awk统计字符数量，可以使用以下命令： awk -v RS='(targetstring)' 'END {print --NR}' file 其中，"targetstring"是你要统计的字符，file是包含要统计的字符的文件名。这个命令将会统计文件中"targetstring...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值