awstats与nginx结合使用

 最近客户希望安装一个日志分析软件，于是就想到了awstats，记得以前是用awstats和apache结合使用的，但是客户使用的是nginx，这个有点麻烦，因为awstats和nginx结合的并不好，尤其是日志格式，这需要自己把nginx的日志格式转换成awstats能够识别的格式。

安装环境：

CentOS 5.4 32位 

nginx：1.0.4

awstats：7.0

一、设置好yum源

1.32位设置：

wget http://packages.sw.be/rpmforge-release/rpmforge-release-0.5.1-1.el5.rf.i386.rpm

rpm -Uvh rpmforge-release-0.5.1-1.el5.rf.i386.rpm 

2.64位设置

wget http://packages.sw.be/rpmforge-release/rpmforge-release-0.5.1-1.el5.rf.x86_64.rpm

rpm -Uvh rpmforge-release-0.5.1-1.el5.rf.x86_64.rpm

3.编辑repo文件

vim rpmforge.repo

enabled = 0

二、安装、配置awstats

yum install --enablerepo=rpmforge awstats

cp /etc/awstats/awstats.localhost.localdomain.conf

 /etc/awstats/awstats.www.example.com.conf

vim /etc/awstats/awstats.www.example.com.conf

LogFile=gzip -d </var/log/nginx/access.log.gz |  //指定日志位置

LogFormat = "%host %other %logname %time1 %methodurl %code %bytesd %refererquot %uaquot"  //指定日志格式

SiteDomain="www.example.com"  //指定域名

HostAliases="127.0.0.1 www.example.cn example.cn"

DirData="/var/www/awstats/data/www.example.com"

SkipHosts="127.0.0.1 61.129.13.29 184.73.162.74"

SkipFiles="/nginx_status /index.html"

LoadPlugin="geoip GEOIP_STANDARD /usr/share/GeoIP/GeoIP.dat" //geoip可以通过来访者的ip，定位他的经纬度，国家/地区，省市，甚至街道等位置信息。GeoIP.dat会通过下面download_geoip_db.sh脚步定时更新

三、安装geoip插件

yum install --enablerepo=rpmforge GeoIP-devel perl-Geo-IP

以下是download_geoip_db.sh的脚步

1. cat download_geoip_db.sh 
2. #!/bin/bash/ 
3. ################################################# 
4. # download_geoip_db.sh 
5. # this script will down load geoip information to $GEOIP_DES 
6. ################################################# 
7. # ChangeLog 
8. #  
9. # 
10.  
11. GEOIP_DES="/usr/share/GeoIP/" 
12. GEOIP_DB_URL="http://geolite.maxmind.com/download/geoip/database/GeoLiteCountry/GeoIP.dat.gz" 
13. GEOIP_DB_TMP="/tmp/GeoIP.dat.gz" 
14.  
15. REPORT_MAIL_TO="xxxx"   #这边填上你的邮件地址 
16. REPORT_MAIL_CC="xxxx" 
17.  
18.  
19. ################## 
20. # Error handling 
21. # 
22. # sum-up all the errors during the script 
23. MAIL_ERROR_REPORT= 
24. #ERROR=0 
25.  
26. # add to error logs and logger 
27. handle_error () { 
28.     error_message= 
29.     error_message="$1" 
30.     logger "$(basename $0) - ERROR - $error_message" 
31.     echo "$error_message" | mail -s "[ KEMCO - GEOIP ERROR ] an error occured during update" -c $REPORT_MAIL_CC $REPORT_MAIL_TO 
32.     exit 1 
33. } 
34.  
35. # check for destination folder 
36. if [ ! -d "$GEOIP_DES" ]; then 
37.         mkdir -p "$GEOIP_DES" 
38.         if [ $? -ne 0 ]; then 
39.         handle_error "Cannot create $GEOIP_DES folder.\nOperation aborted." 
40.     fi 
41. fi 
42. if [ ! -w "$GEOIP_DES" ]; then 
43.         handle_error "Destination folder $GEOIP_DES is not writable.\nOperation aborted." 
44. fi 
45.  
46. ################# 
47. # Downloading geoip_db information from maxmind 
48. # 
49. wget $GEOIP_DB_URL -O $GEOIP_DB_TMP 
50. if [ $? -ne 0 ]; then 
51.     handle_error "Error while downloading GeoIP from $GEOIP_DB_URL" 
52. fi 
53.  
54. # check if download success 
55. if [ ! -f "$GEOIP_DB_TMP" ]; then 
56.     handle_error "Download GeoIP failed - temp file: $GEOIP_DB_TMP was not found" 
57. fi 
58.  
59. # move the geoip_db to place 
60. gunzip -f $GEOIP_DB_TMP 
61. if [ $? -ne 0 ]; then 
62.     handle_error "Error while unzipping the GeoIP database" 
63. fi 
64.  
65. mv -f /tmp/GeoIP.dat $GEOIP_DES 
66. if [ $? -ne 0 ]; then 
67.     handle_error "Error while moving the GeoIP database to $GEOIP_DES" 
68. fi 
69.  
70. # send mail to inform this action 
71. GEOIP_DB_TIMESTAMP=$(stat -c %y $GEOIP_DES/GeoIP.dat | cut -f1 -d' ') 
72. echo "The update of GeoIP database is successfull. 
73. GeoIP version: $GEOIP_DB_TIMESTAMP" | mail -s "[ KEMCO - GEOIP SUCCESS ] The GeoIP database was successfully updated on $(hostname)" -c $REPORT_MAIL_CC $REPORT_MAIL_TO 

编辑cron，定时更新geoip数据库

echo '0 0 1,5 * * root bash /opt/download_geoip_db.sh' >/etc/cron.d/updateGeoIP

四、配置nginx的日志 

vim /etc/logrotate_nginx.conf

 

    daily

    rotate 3000

    missingok

    notifempty

    dateext

    compress

    sharedscripts

    postrotate

        [ ! -f /var/run/nginx.pid ] || kill -USR1 `cat /var/run/nginx.pid`

    endscript

}

 

mkdir /etc/cron.jiuri/

vim /etc/cron.jiuri/logrotate

#!/bin/sh

/usr/sbin/logrotate /etc/logrotate_nginx.conf

EXITVALUE=$?

if [ $EXITVALUE != 0 ]; then

    /usr/bin/logger -t logrotate "ALERT exited abnormally with [$EXITVALUE] nginx"

fi

exit 0

编辑cron，每天23:59分执行nginx的logrotate

echo '59 23 * * *     root bash /etc/cron.jiuri/logrotate' >/etc/cron.d/nginxlogrotate  

 

五、更新awstats的日志目录

 当然用脚本自动去更新了，脚本如下

 

1. cat merge_nginx_log.sh  
2. #!/bin/bash 
3. # Description : This script is for the awstat to merge logs and update awstat data 
4. # 2010-10-09 
5. # 
6.  
7. AWSTAT_BIN="/var/www/awstats/awstats.pl" 
8. YEAR=$(date +%Y) 
9. MONTH=$(date +%m) 
10. DAY=$(date +%d) 
11. DATE=$(date '+%Y%m%d' -d "1 day ago") 
12. LOG_DIR=/var/log/nc_merge_nginx_log 
13. LOCK_FILE=/var/lock/subsys/nc_merge_nginx_log 
14. SSH_RSA_KEY=/home/ncadmin/.ssh/id_rsa 
15.  
16. SERVER=( "srv-example-web1" "srv-example-web2" "srv-example-web3" "srv-example-web4" ) 
17. NGINX_LOG_DIR="/var/log/nginx/www.example.com" 
18. NGINX_LOG="mixi.example.mobi_access.log" 
19. SAVE_FOLDER="/var/www/awstats/nginx_logs/ww.example.com" 
20. DST_FOLDER="$SAVE_FOLDER"/"$YEAR"/"$MONTH"/"$DAY"    //nginx日志转换格式后保存的目录 
21. AWSTAT_CFG=mixi.example.mobi # IN "/etc/awstats/awstats.www.example.com.conf" 
22.  
23.  
24. define_log(){ 
25.         LOG_PATH="$LOG_DIR"/"$YEAR"/"$MONTH"/"$DAY" 
26.         [ ! -d "$LOG_PATH" ] && mkdir -p "$LOG_PATH" 
27.  
28.         LOG="$LOG_DIR"/"$YEAR"/"$MONTH"/"$DAY"/nc_merge_nginx_log.log 
29.         echo $LOG 
30. } 
31.  
32.  
33. get_log_from_nodes(){        //把压缩后的nginx log拷贝到awstats的目录里并解压，awstats会根据这里的log提取信息 
34.         for srv in ${SERVER[*]} 
35.         do 
36.                 [ ! -d "$DST_FOLDER" ] && mkdir -p "$DST_FOLDER" 
37.                 scp -i $SSH_RSA_KEY ncadmin@"$srv":"$NGINX_LOG_DIR"/"$NGINX_LOG"-"$DATE".gz "$DST_FOLDER"/"$NGINX_LOG"-"$DATE"-"$srv".log.gz 
38.                 gunzip -f "$DST_FOLDER"/"$NGINX_LOG"-"$DATE"-"$srv".log.gz      
39.         done 
40. } 
41.  
42. clean_old_log(){   //清理超过3天的awstats目录里的日志，就是拷贝过来的日志 
43.         keep_day=3 
44.         find "$SAVE_FOLDER" -type f -ctime +$((keep_day-1)) -exec rm -rf '{}' ';'  
45. } 
46.  
47. update(){ 
48.         $AWSTAT_BIN -config="$AWSTAT_CFG" -configdir=/etc/awstats -update -showsteps   
49.         $AWSTAT_BIN -config="$AWSTAT_CFG" -configdir=/etc/awstats -update -showsteps  -databasebreak=day 
50. } 
51.  
52. if [ -f "$LOCK_FILE" ] ;then 
53.         echo "There is a same script running!" >> $LOG 2>&1 
54. else 
55.         touch "$LOCK_FILE" 
56.         define_log 
57.         get_log_from_nodes >> $LOG 2>&1 
58.         update >> $LOG 2>&1 
59.         clean_old_log >> $LOG 2>&1 
60.         rm -rf "$LOCK_FILE" 
61. fi 

echo '59 3 * * *     root bash -x /opt/ncscripts/nmerge_nginx_log.sh' >/etc/cron.d/awstat_update

六、安装 perl-fastcgi

yum install perl-FCGI perl-pmtools

perl -MCPAN -e 'install FCGI'

 

• 
  vim /etc/init.d/perl-fastgi 
• #!/bin/bash 
• # 
• # perl-fastcgi - this script starts and stops the perl-fastcgi Daemon 
• # 
• # chkconfig:   - 85 15  
• # description:  perl-fastcgi is an perl FASTCGI Daemon 
• # processname: perl-fastcgi 
•  
• PERL_SCRIPT=/usr/bin/fastcgi-wrapper.pl 
• FASTCGI_USER=nginx 
• RETVAL=0 
• start(){ 
•       echo -n 'Perl FASTCGI Starting ...' 
•       $PERL_SCRIPT 
•       RETVAL=$? 
•       [ $RETVAL -ne 0 ] && echo -e "\t [FAIL]" || echo -e "\t [OK]" 
• } 
•  
• stop(){ 
•       echo -n 'Perl FASTCGI Stopping ...' 
•       killall  fastcgi-wrapper.pl 
•       RETVAL=$? 
•       [ $RETVAL -ne 0 ] && echo -e "\t [FAIL]" || echo -e "\t [OK]" 
• } 
•  
• case "$1" in 
•     start) 
•         start 
•   ;; 
•     stop) 
•         stop 
•   ;; 
•     restart) 
•         stop 
•         sleep 1 
•         start 
•   ;; 
•     *) 
•       echo "Usage: perl-fastcgi {start|stop|restart}" 
•       exit 1 
•   ;; 
• esac 
• exit $RETVAL 

 

mkdir /var/run/nginx

 

vim /usr/bin/fastcgi-wrapper.pl 

        $socket = FCGI::OpenSocket( "127.0.0.1:8999", 200 ); #use IP sockets

 

/etc/init.d/perl-fastcgi start

七、配置nginx

vim /etc/nginx/conf.d/awstats.conf

server {

          server_name   _;

          listen  30443;

 

          ssl on;

          ssl_certificate /etc/nginx/ssl_key/example.crt;

          ssl_certificate_key /etc/nginx/ssl_key/example.key;

          ssl_session_timeout 5m;

          ssl_protocols SSLv2 SSLv3 TLSv1;

          ssl_ciphers ALL:!ADH:!EXPORT56:RC4+RSA:+HIGH:+MEDIUM:+LOW:+SSLv2:+EXP;

          ssl_prefer_server_ciphers on;

 

          auth_basic            "Restricted";

          auth_basic_user_file  conf.d/.example_auth;

 

          access_log   /var/log/nginx/awstats/access_logs.example.com.log  main;

          error_log   /var/log/nginx/awstats/error_logs.example.com.log;

 

          root /var/www/awstats/;

          index index.html;

 

          location ~* .*\.pl$ {

               root /var/www/awstats/;

               fastcgi_pass 127.0.0.1:8999;

               fastcgi_index awstats.pl;

               #fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;

               fastcgi_param SCRIPT_FILENAME  /var/www/awstats/awstats.pl;

               fastcgi_param QUERY_STRING     $query_string;

               fastcgi_param REQUEST_METHOD   $request_method;

               fastcgi_param CONTENT_TYPE     $content_type;

               fastcgi_param CONTENT_LENGTH   $content_length;

               fastcgi_param GATEWAY_INTERFACE CGI/1.1;

               fastcgi_param SERVER_SOFTWARE    nginx;

               fastcgi_param SCRIPT_NAME        $fastcgi_script_name;

               fastcgi_param REQUEST_URI        $request_uri;

               fastcgi_param DOCUMENT_URI       $document_uri;

               fastcgi_param DOCUMENT_ROOT      $document_root;

               fastcgi_param SERVER_PROTOCOL    $server_protocol;

               fastcgi_param REMOTE_ADDR        $remote_addr;

               fastcgi_param REMOTE_PORT        $remote_port;

               fastcgi_param SERVER_ADDR        $server_addr;

               fastcgi_param SERVER_PORT        $server_port;

               fastcgi_param SERVER_NAME        $server_name;

           }

 

          location ~ ^/awstats/ {

                root /var/www/awstats/;

                index index.html;

 

         }

}

 

/etc/init.d/nginx reload

 

八、测试

https://www.example:30443/awstats.pl?config=www.example.com

 

 

 

 

 

 

 

 

 

转载于:https://blog.51cto.com/2385352/800433