使用nginx的access_log 进行接口调用频率分析

使用nginx的access_log 进行接口调用频率分析

项目上线后需要分析各个接口每小时的调用情况，再根据压力接口进行优化

---

先开启nginx的access_log

access_log /****/路径/***.access.log;

在每次访问接口在access_log里面保存的内容为:

100.97.182.235 - - [24/Aug/2017:17:23:11 +0800] "POST /user/card HTTP/1.0" 201 151 "-" "-" "124.119.81.78 "

我们需要拿到调用的时间和调用的接口
也就是 [24/Aug/2017:17:23:11 +0800] 和 POST /user/card
项目采用的restful的api接口风格 所以我们需要将http请求方式也要保存下

在采集数据的时候我们使用逐行读取文件的方式，线上的nginx的access_log一般都是G以上的级别，再跑脚本的时候需要自己计算脚本内存会不会溢出，如果溢出最好采用分段式保存然后清空数组的方式
列入:

if($count > 20000)
{
  file_put_contents($file,json_encode($content),FILE_APPEND);
  $content = [];
  $count = 0;
}

在确定自己要获取的数据的时候,我们就可以采用正则方式去过滤和写脚本了
1.获取日志的时间

100.97.182.235 - - [24/Aug/2017:17:23:11 +0800] "POST /user/card HTTP/1.0" 201 151 "-" "-" "124.119.81.78 "
//我们根据 [ 和] "进行增则匹配
//正则匹配结果
$pregResult = [];
$result = preg_match('/\- \[.*\]/',$row,$pregResult);
if ($result < 1) {
    //@todo 保存异常数据 最后异常数据处理
}
$time = $pregResult[0];
//去掉多余字符
$time = str_replace('- [','',$time);
$time = str_replace(']','',$time);

2.获取接口名称

根据]和 HTTP过滤出接口名称
100.97.182.235 - - [24/Aug/2017:17:23:11 +0800] "POST /user/card HTTP/1.0" 201 151 "-" "-" "124.119.81.78 "
$pregResult = [];
$result = preg_match('/\].* HTTP/',$row,$pregResult);
if ($result < 1) {
    //@todo 保存异常数据 最后异常数据处理
}
$apiName = $pregResult[0];
//去掉头部 [
$apiName = str_replace('] "','',$apiName);
//去掉尾部 HTTP
$apiName = str_replace(' HTTP','',$apiName);
//去掉get方式的url参数
if (strpos($apiName,'?') !== false) {
    $parseList = parse_url($apiName);
    $apiName = $parseList['path'];
}

我采用将数据进行两次加工 第一次将数据保存成以下格式
脚本进行每2w次写入文件一次 然后清空数组 继续累计

时间^接口名称^调用次数
时间^接口名称^调用次数
.....
....

最后再对上述格式进行数据加工成

{
    "接口":{
        "时间":"次数",
        "时间":"次数",
        "时间":"次数",
        "时间":"次数",
        "时间":"次数",
        "时间":"次数",
        "时间":"次数",
        "时间":"次数",
    },
    "接口":{
        "时间":"次数",
        "时间":"次数",
        "时间":"次数",
        "时间":"次数",
        "时间":"次数",
        "时间":"次数",
        "时间":"次数",
        "时间":"次数",
    },
    "接口":{
        "时间":"次数",
        "时间":"次数",
        "时间":"次数",
        "时间":"次数",
        "时间":"次数",
        "时间":"次数",
        "时间":"次数",
        "时间":"次数",
    },
}

拿到json格式就可以使用echart进行图表统计

具体脚本代码和部分代码,可以留言向我要
后端就一个思想，思想有了, 代码水到渠成了