awk 统计nginx 日志 pv uv

awk  是一种处理文本文件的语言，是一个强大的文本分析工具。

可以结合grep ，wc ，sort 等统计nginx日志的pv，uv。

一般的nignx 日志格式为：

log_format access '$remote_addr - $remote_user [$time_local] "$request" '

                              '$status $body_bytes_sent "$http_referer" '

                              '"$http_user_agent" $http_x_forwarded_for '

                             '"$upstream_addr" "$upstream_status" "$upstream_response_time"         "$request_time"';

其中$request 为请求的接口URL，

如下方日志格式，根据code，按天统计code的的访问次数：

113.123.123.123 - - [19/Jun/2022:18:15:39 +0800] "portal.***.***.com" 80 "GET /**/**/***/test?code=1234567890123456789 HTTP/1.1" 200 2001 2158 "-" "Dalvik/2.1.0 (Linux; U; Android 10; P759 Build/QP1A.190711.020)" "113.123.123.123" 0.008 "0.008" "10.0.0.100:6001" "200"

创建shell 脚本：

vi  test.sh

echo "start shell!"

DATE=$(date -d last-day +%Y%m%d)

if [ -z "$1" ]; then

DATE=$DATE

else

DATE=$1

fi

#定义接口名称数组,可能会存在问题,接口名称 存在其他接口的paras，

array=("test" "test1" "test2")

#定义nginx日志的前缀

PATH = '/opt/nginx/logs/*.portal.*.*.com.log'

#枚举多个接口 ${#array[@]}获取数组长度用于循环

for(( i=0;i<${#array[@]};i++)) do

echo $DATE

echo ${array[i]}

#pv 获取

cat $PATH-$DATE |grep ${array[i]} | wc -l | awk '{print "'$DATE'" "\t" "'${array[i]}'" "\tpv\t" $0}' >>test.log

#uv 获取

cat $PATH-$DATE |grep ${array[i]} | awk '{print $9}' | awk '{split($0,MAP,"&");

for(item in MAP){

split(MAP[item],VALUE,"=");

if(VALUE[1]=="code"){

code=VALUE[2]

}};print code}'| sort | uniq -c| sort -nr |wc -l |awk '{print "'$DATE'" "\t" "'${array[i]}'" "\tuv\t" $0}' >>test.log

#每个code 的访问次数

cat $PATH-$DATE |grep ${array[i]} | awk '{print $9}' | awk '{split($0,MAP,"&");

for(item in MAP){

split(MAP[item],VALUE,"=");

if(VALUE[1]=="code"){

code=VALUE[2]

}};print code}'| sort | uniq -c| sort -nr |awk '{print "'$DATE'" "\t" "'${array[i]}'" "\t" $0}' >> ${DATE}.log

done;

echo "end shell!"

cat 用于连接文件并打印到标准输出设备上

grep 用于查找文件里符合条件的字符串

wc -l 用于统计行数

awk '{print "'$DATE'" "\t" "'${array[i]}'" "\tpv\t" $0}'

其中 shell 脚本的参数需要使用"' '"   ， $0是前一个输出的一行数据。

sort  可针对文本文件的内容，以行为单位来排序

uniq -c  可检查文本文件中重复出现的行列，-c 在每列旁边显示该行重复出现的次数。

sort -nr   -n 依照数值的大小排序。-r 以相反的顺序来排序，即：倒序。

awk '{print $9}'   #获取访问url 字符串，如果nignx log 配置不一样，可以尝试 左右 $8,$7

 awk '{split($0,MAP,"&"); #前一个命令数据，即一行的按&分割并将结果放到MAP中。

for(item in MAP){ # MAP 进行枚举

split(MAP[item],VALUE,"=");#MAP[item] 以“=”分割并将结果放到VALUE中

if(VALUE[1]=="code"){   #shell 脚本数组从 1开始 

code=VALUE[2]  #获取code 的值 

}};print code}'  #只打印code

至此，脚本解释完毕。第一次发文，有不足之处，请私信或回复。

可以sh test.sh 20220617  执行脚本