使用awk命令分析nginx日志定位响应慢的java接口

nginx日志格式

可以在nginx.conf配置文件中使用log_format自定义日志文件格式，示例如下：

 log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for" '
                      '$request_time $upstream_response_time';

其中 $request_time 和 $upstream_response_time是响应时间相关的配置。

• request_time ： 整个请求的时间，以秒为单位。包括接收客户端请求数据、后端程序响应、发送响应数据给客户端的时间，但不包含写日志的时间。
• upstream_response_time：请求过程中，向后端建立连接到接受完数据关闭连接的时间,以秒为单位。

awk命令

awk命令可以处理文本，对满足条件的数据执行某些操作。

awk '($NF > 0.2){print $7}' access.log表示对access.log中的每一行日志按照默认分隔符(空格或Tab)分割，对满足条件($NF > 0.2)的数据进行操作(print $7)。

其中 $0表示整行数据，$1表示第一个分割结果， $NF表示最后一个。

awk默认的分割符为空格或Tab,可以使用-F\"设置分割符为"。

匹配条件支持使用正则表达式，正则表达式需要放在//中间。

分析示例

access log日志格式如下，
192.168.1.1 - - [10/Jan/2022:10:10:10 +0800] "GET /test/get?v1=aa&version=1.1.0 HTTP/1.1" 500 48 "-" "Mozilla/4.0 (compatible; Win32; WinHttp.WinHttpRequest.5)" "0.004" "-" "-" "-""192.168.1.1:80" "500" "48" "0.004"

使用如下命令
awk -F\" '($22 > 1 && $1~/Jan\/2022/){print $2}' access.log | sort -n| uniq -c|sort -nr|head -50
对access log日志进行分析，把2022年一月的请求中，响应时间大于1秒的接口进行汇总排序，打印前50条。

• -F\"表示将分割符设置为"
• $22 > 1 && $1~/Jan\/2022/表示匹配条件为响应时间(分割出来的第22个数据)大于1秒，且第一个字段中包含Jan/2022
• print $2 表示打印分割出的第二个字段

输出结果示例如下：

9991   /test/test1
997    /test/test2
338    /test/test3
165    /test/test4
71     /test/test5