awk 是一种处理文本文件的语言,是一个强大的文本分析工具。
可以结合grep ,wc ,sort 等统计nginx日志的pv,uv。
一般的nignx 日志格式为:
log_format access '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" $http_x_forwarded_for '
'"$upstream_addr" "$upstream_status" "$upstream_response_time" "$request_time"';
其中$request 为请求的接口URL,
如下方日志格式,根据code,按天统计code的的访问次数:
113.123.123.123 - - [19/Jun/2022:18:15:39 +0800] "portal.***.***.com" 80 "GET /**/**/***/test?code=1234567890123456789 HTTP/1.1" 200 2001 2158 "-" "Dalvik/2.1.0 (Linux; U; Android 10; P759 Build/QP1A.190711.020)" "113.123.123.123" 0.008 "0.008" "10.0.0.100:6001" "200"
创建shell 脚本:
vi test.sh
echo "start shell!"
DATE=$(date -d last-day +%Y%m%d)
if [ -z "$1" ]; then
DATE=$DATE
else
DATE=$1
fi
#定义接口名称数组,可能会存在问题,接口名称 存在其他接口的paras,
array=("test" "test1" "test2")
#定义nginx日志的前缀
PATH = '/opt/nginx/logs/*.portal.*.*.com.log'
#枚举多个接口 ${#array[@]}获取数组长度用于循环
for(( i=0;i<${#array[@]};i++)) do
echo $DATE
echo ${array[i]}
#pv 获取
cat $PATH-$DATE |grep ${array[i]} | wc -l | awk '{print "'$DATE'" "\t" "'${array[i]}'" "\tpv\t" $0}' >>test.log
#uv 获取
cat $PATH-$DATE |grep ${array[i]} | awk '{print $9}' | awk '{split($0,MAP,"&");
for(item in MAP){
split(MAP[item],VALUE,"=");
if(VALUE[1]=="code"){
code=VALUE[2]
}};print code}'| sort | uniq -c| sort -nr |wc -l |awk '{print "'$DATE'" "\t" "'${array[i]}'" "\tuv\t" $0}' >>test.log
#每个code 的访问次数
cat $PATH-$DATE |grep ${array[i]} | awk '{print $9}' | awk '{split($0,MAP,"&");
for(item in MAP){
split(MAP[item],VALUE,"=");
if(VALUE[1]=="code"){
code=VALUE[2]
}};print code}'| sort | uniq -c| sort -nr |awk '{print "'$DATE'" "\t" "'${array[i]}'" "\t" $0}' >> ${DATE}.log
done;
echo "end shell!"
cat 用于连接文件并打印到标准输出设备上
grep 用于查找文件里符合条件的字符串
wc -l 用于统计行数
awk '{print "'$DATE'" "\t" "'${array[i]}'" "\tpv\t" $0}'
其中 shell 脚本的参数需要使用"' '" , $0是前一个输出的一行数据。
sort 可针对文本文件的内容,以行为单位来排序
uniq -c 可检查文本文件中重复出现的行列,-c 在每列旁边显示该行重复出现的次数。
sort -nr -n 依照数值的大小排序。-r 以相反的顺序来排序,即:倒序。
awk '{print $9}' #获取访问url 字符串,如果nignx log 配置不一样,可以尝试 左右 $8,$7
awk '{split($0,MAP,"&"); #前一个命令数据,即一行的按&分割并将结果放到MAP中。
for(item in MAP){ # MAP 进行枚举
split(MAP[item],VALUE,"=");#MAP[item] 以“=”分割并将结果放到VALUE中
if(VALUE[1]=="code"){ #shell 脚本数组从 1开始
code=VALUE[2] #获取code 的值
}};print code}' #只打印code
至此,脚本解释完毕。第一次发文,有不足之处,请私信或回复。
可以sh test.sh 20220617 执行脚本