awk分析nginx日志，获取pv

最近在深入系统运维的事情，从服务器配置、调优、维护，到各种脚本编写。实现自动化智能运维的目标还要很远。

从nginx的日志中分析每日有效的pv和各搜索引擎爬虫的请求数。脚本用awk实现。

函数库文件 stat_func.sh

 

[c-sharp] view plain copy print ?

1. #!/bin/bash   
2. stat_log_path=/usr/local/qqsa/result  
3. stat_nginx_log()  
4. {  
5.     local basename=`basename $1`  
6.     local newfile="${stat_log_path}/${basename%%.*}.pv.`date +'%Y-%m-%d'`"  
7.     awk -F/" '  
8.     {  
9.     if( $2 ~ /css|txt|ico/ ) res["static"]++;  
10.     else if ( $6 ~ /Baiduspider/ ) {res["baidu"]++;res["spider"]++;}  
11.     else if ( $6 ~ /Googlebot/ ) {res["google"]++;res["spider"]++;}  
12.     else if ( $6 ~ /Yahoo! Slurp/) {res["yahoo"]++;res["spider"]++;}  
13.     else if ( $6 ~ /Sogou web spider/) {res["sogou"]++;res["spider"]++;}  
14.     else if ( $6 ~ /Sosospider/) {res["soso"]++;res["spider"]++;}  
15.     else if ( $6 ~ /YodaoBot/) {res["youdao"]++;res["spider"]++;}  
16.     else if ( $6 ~ /msnbot/) {res["msnbot"]++;res["spider"]++;}  
17.     else if ( $6 ~ /iaskspider/) {res["sina"]++;res["spider"]++;}  
18.     else res["good"]++;  
19.     }  
20.     END {  
21.     for(item in res) print item ":" res[item]   
22.     }' $1 > $newfile  
23. }  

#!/bin/bash stat_log_path=/usr/local/qqsa/result stat_nginx_log() { local basename=`basename $1` local newfile="${stat_log_path}/${basename%%.*}.pv.`date +'%Y-%m-%d'`" awk -F/" ' { if( $2 ~ /css|txt|ico/ ) res["static"]++; else if ( $6 ~ /Baiduspider/ ) {res["baidu"]++;res["spider"]++;} else if ( $6 ~ /Googlebot/ ) {res["google"]++;res["spider"]++;} else if ( $6 ~ /Yahoo! Slurp/) {res["yahoo"]++;res["spider"]++;} else if ( $6 ~ /Sogou web spider/) {res["sogou"]++;res["spider"]++;} else if ( $6 ~ /Sosospider/) {res["soso"]++;res["spider"]++;} else if ( $6 ~ /YodaoBot/) {res["youdao"]++;res["spider"]++;} else if ( $6 ~ /msnbot/) {res["msnbot"]++;res["spider"]++;} else if ( $6 ~ /iaskspider/) {res["sina"]++;res["spider"]++;} else res["good"]++; } END { for(item in res) print item ":" res[item] }' $1 > $newfile }

执行文件 stat_every_day.sh

[c-sharp] view plain copy print ?

1. #!/bin/bash   
2. . ./stat_func.sh  
3. date=`date +'%Y-%m-%d'`  
4. find /data/cs_log_backup/${date} -name "*.access.*" | /  
5. while read file  
6. do  
7.     $( stat_nginx_log "$file" )  
8. done  

#!/bin/bash . ./stat_func.sh date=`date +'%Y-%m-%d'` find /data/cs_log_backup/${date} -name "*.access.*" | / while read file do $( stat_nginx_log "$file" ) done

 

crontab -e

最下面增加一行

00 3 * * * /usr/local/maintain/stat_every_day.sh > /dev/null 2 >& 1

参考文献：

http://tech.foolpig.com/2008/07/09/linux-shell-char/    shell字符串的截取

http://storysky.blog.51cto.com/628458/270671  用AWK来过滤nginx日志中的特定值

http://storysky.blog.51cto.com/628458/271560  用SED+AWK来分析NGINX日志

http://book.douban.com/subject/1236944/   sed与awk  

 

转载http://blog.csdn.net/LongMarch12/archive/2011/02/24/6204550.aspx