Linux命令 - 统计log日志某接口用户访问频次并排序

繁星_

已于 2024-01-28 15:29:17 修改

阅读量711

点赞数 7

分类专栏：我为工作狂 Linux命令文章标签： linux java

于 2024-01-28 15:27:52 首次发布

本文链接：https://blog.csdn.net/qq_38252499/article/details/135895325

版权

我为工作狂同时被 2 个专栏收录

4 篇文章 0 订阅

订阅专栏

Linux命令

2 篇文章 0 订阅

订阅专栏

文章讲述了如何在内部人员app服务器接口访问量激增的情况下，通过Linux命令grep、awk、sort和uniq对Nginx日志进行清洗和分析，快速统计特定接口/api/submitOrder的wxUid访问频次，以便于监控和管理。

摘要由CSDN通过智能技术生成

背景

某天发现内部人员使用的app服务器访问突增，但不影响服务正常运行，想通过log统计接口的人员访问频次。
从监控平台可以看到访问激增的接口，因Nginx不缓存用户信息只有访问IP，日志清洗的Hive表只能访问前一天，不方便快速统计。
在这里插入图片描述

所以想直接用Linux命令检索log日志，快速输出分组排序结果。

实现方案

在知道是哪个接口被大量访问，以及访问时间段后，可以圈定log检索范围。

log日志格式如下：

[xx-xx 16:00:00 007] 658d2xxxx-false INFO - logId=xxx uri=/api/submitOrder act=submitOrder 
param={"wxUid":"123456","wxName":null,"productPoolIdList":[1234213,1111111],"uid":22222,"proposer":"张三"}

要在上述日志信息中，统计各个wxUid访问接口 /api/submitOrder 频次，并根据频次倒序排列。

Linux命令如下：

grep "uri=/api/submitOrder" $logpath  | awk -F '("wxUid":|,"wxName":null)' '{print $2}'  
| sort   | uniq -c  | sort -nr

grep “uri=/api/submitOrder” $logpath
框定查询范围。因log日志存放大量info信息，而我们只需要某个action的日志。logpath 为访问路径，此处可以指定访问某个时间段的log日志。
awk -F ‘(“wxUid”: |,“wxName”:null)’ ‘{print $2}’
字符串切割输出需要字符串。用"wxUid": 或,“wxName”:null为分隔符，将上述日志分为三部分，
1 —— [xx-xx 16:00:00 007] 658d2xxxx-false INFO - logId=xxx uri=/api/submitOrder act=submitOrder param={"wxUid":
2 —— "123456"
3 —— ,"wxName":null,"productPoolIdList":[1234213,1111111],"uid":22222,"proposer":"张三"}
取出第二部分字符串，即"123456"。
sort
对切割获取的结果排序。目的是将相同字符串聚集到一起。
uniq -c
统计数量与去重。
sort -nr
对统计结果倒排。不指定会按正序排。