今天有个分析日志的需求,要获得指定的几个请求的响应时间的最大值,最小值和平均值
从nginx配置中找到日志的格式如下:
log_format _main '$remote_addr "$time_iso8601" $request_method "$uri" "$args" "$request_body" $status $body_bytes_sent $request_time "$http_user_agent"';
倒数第二项$request_time即为响应时间
实际日志截取部分如下,域名换掉了:
10.100.27.171 "2015-08-01T00:00:02+08:00" GET "/interface/ipad_v3/sub_channels" "cid=85&ver=3.9.5" "-" 200 588 0.003 "api.3g.example.com/3.0"
10.100.27.172 "2015-08-01T00:00:02+08:00" GET "/interface/ios_v3/sub_channel_details_with_playlist" "sub_channel_id=227&ver=3.9" "-" 200 2912 0.334 "api.3g.example.com/3.0"
10.100.27.172 "2015-08-01T00:00:02+08:00" GET "/interface/android_v3/sub_channel_details" "sub_channel_id=107&show_game_information=1&ver=4.8" "-" 200 3480 0.129 "api.3g.example.com/3.0"
日志文件名格式大概是log.20150801这样的,我打算把脚本和日志放一个文件夹下
一开始函数是这么写的,需要注意的是,$1既能表示shell函数的第一个参数,又能表示awk中的第一个域,有冲突。所以用'"$1"',用'将前面的句子关闭,然后在""中插入shell的参数$1,再用'开启后面的句子;也可以用awk -v needle="$1"这种赋值替换方式
#! /bin/bash
function get_min(){
ls | grep 'log.' | xargs cat | awk '$7==200 && $4 ~/^"'"$1"'/{print "Min = ", $9}' | sort -n -k 2 | head -1
}
function get_max() {
ls | grep 'log.' | xargs cat | awk '$7==200 && $4 ~/^"'"$1"'/{print "Max = ", $9}' | sort -rn -k 2 | head -1
}
function get_avg() {
ls | grep 'log.' | xargs cat | awk '$7==200 && $4 ~/^"'"$1"'/{sum+=$9} END {print "Average = ", sum/NR}'
}
最容易想到的,明显不是最优的,代码很冗余。将文件遍历一次,最大最小和平均都可以计算出来的,再不济,最大值和最小值其实在排序之后就出来了,可以这样用sed输出两条记录
awkfunction get_min_and max {
ls | grep 'log.' | xargs cat | awk '$8=200 && $4 ~/^"'"$1"'/{print $9}' | sort -n -k 2 | sed -n '1p;$p'
}
仔细研究了下awk,最后的代码是这样的
awk#! /bin/bash
function cal_work(){
ls | grep 'log.' | xargs cat | awk 'BEGIN{max=0;min=1}
{if ($4 ~ /^"'"$1"'/ && $(NF-3)==200){
sum+=$9; count+=1;
if($9 > max) max=$9 fi;if($9 < min) min=$9 fi;
}
}
END {print "Average = ", sum/count;print "Max = ", max;print "Min", min}'
}
function get_stat(){
target=$1
target=${target//\//\\/}
cal_work $target
}
get_stat '/interface/ipad_v3/sub_channels'
要查询的path中有斜杠,斜杠前要加'\'转义,这一步在get_stat中进行