原文地址:https://www.akii.org/use-awstats-automatic-analysis-nginx-log.html

使用awstats自动分析Nginx日志(一)

Posted on July 26, 2010 by admin

使用awstats可以分析apache日志，同样也可以分析nginx日志。本文将详细介绍自动定时切割nginx的访问日志，并使用awstats来定时分析nginx的日志的实现方法。

前言

本文中使用的是awstats 7.0版本。

此版本增加了对win7的支持以及一些更新的特性。

New features/improvements:

- Detect Windows 7.

- Can format numbers according to language.

- More mime types.

- Added geoip_asn_maxmind plugin.

- Geoip Maxmind city plugin have now override file capabilities to complete

missing entries in geoip maxmind database.

- Added graphgooglechartapi to use online Google chart api to build graph.

- Can show map of country to report countries when using graphgooglechartapi.

- Part of codes was change to use more functions and have a cleaner code.

- Added parameter to ignore missing log files when merging for a site on

multiple servers where a single server may not have created a log for a given day.

- Update robots database.

- Added Download tracking where certain mime types are defined as downloads

and HTTP status 206 is tracked as download continuation

 

Awstats 是在 SourceForge 上发展很快的一个基于 Perl 的 WEB 日志分析工具，一个充分的日志分析让 Awstats 显示您下列资料:

访问次数、独特访客人数,

访问时间和上次访问,

使用者认证、最近认证的访问,

每周的高峰时间(页数,点击率,每小时和一周的千字节),

域名/国家的主机访客(页数,点击率,字节,269域名/国家检测, geoip 检测),

主机名单,最近访问和未解析的 IP 地址名单

大多数看过的进出页面,

档案类型,

网站压缩统计表(mod_gzip 或者 mod_deflate),

使用的操作系统 (每个操作系统的页数,点击率 ,字节, 35 OS detected),

使用的浏览器,

机器人访问(检测 319 个机器人),

蠕虫*** (5 个蠕虫家族),

搜索引擎，利用关键词检索找到你的地址,

HTTP 协议错误(最近查阅没有找到的页面),

其他基于 URL 的个性报导,链接参数, 涉及综合行销领域目的.

贵网站被加入”最喜爱的书签”.次数.

屏幕大小(需要在索引页补充一些 HTML 标签).

浏览器的支持比例: Java, Flash, RealG2 reader, Quicktime reader, WMA reader, PDF reader.

负载平衡服务器比率集群报告.

Awstats 的运行是需要 PERL 环境的支持，从 awstats 的文档来看，它对 Apache HTTP Server 的支持是非常完美的，而当我们把 Web 服务器换成 Nginx 后，要运行 awstats 变得很麻烦。首先 Nginx 本身对 Perl 的支持是比较弱的，甚至官方也不建议使用；另外在日志格式上有需要修改后才能运行。

日志切割

本文主要介绍通过让 awstats 对日志统计的结果生成静态页面，然后通过 Nginx 输出以达到统计 Nginx 访问日志的效果，其中还包括如何让 Nginx 自动切割日志文件。对于nginx的日志，我的做法是按天切割。然后存入日期形式的目录中并压缩。

 

需要注意的是，nginx的日志应该遵循以下格式，才可以被awstats识别，如定义日志格式

log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '

                  '$status $body_bytes_sent "$http_referer" '

                  '"$http_user_agent" "$http_x_forwarded_for"';

使用日志格式

access_log  /home/www/logs/access.log  main;

这里需要有一个小技巧的提示：把log_format这段代码放在你nginx的http的定义段中，可以在下面的每一个server中引用此格式。不必在每个server里面都去定义格式。

本文不讲如何安装nginx，稍后我将发布我的lnmp一键安装包(linux nginx mysql php)。全编译+优化自动化安装，使用php-fpm运行php的fastcgi进程。

 

我写了一个定时切割日志的脚本。每天0:00开始执行，切割昨天的日志（交由awstats分析），压缩前天的日志（压缩日志可减小存储空间，为防止awstats没有分析完就被压缩，所以只压缩前天的日志）。如果你的nginx和log文件放的路径和我的不一样，请对应修改。

vim cut_log.sh

输入以下内容

#!/bin/bash

# This script run at 00:00

# cut yesterday log and gzip the day before yesterday log files.

# yesterday logs to awstats

 

# The Nginx logs path

logs_path="/home/www/logs/"

date_dir=${logs_path}$(date -d "yesterday" +"%Y")/$(date -d "yesterday" +"%m")/$(date -d "yesterday" +"%d")/

gzip_date_dir=${logs_path}$(date -d "-2 day" +"%Y")/$(date -d "-2 day" +"%m")/$(date -d "-2 day" +"%d")/

 mkdir -p $date_dir

mv ${logs_path}*access.log $date_dir

/usr/local/nginx/sbin/nginx -s reopen

/usr/bin/gzip ${gzip_date_dir}*.log

然后让它每天0时起开始进行，执行crontab -e加入以下代码再按:wq保存退出，这里我将此脚本放在/root/下，切记要给它可执行权限（chmod +x cut_log.sh）.

00 00 * * * /bin/bash /root/cut_log.sh

这样就可以每天凌里自动切割昨天的日志到以日期为目录结构的目录中。可以留存以后查询。留着昨天的日志交给下面的awstats来分析，压缩前天的日志（前天的已经被分析过了）。

安装和配置awstats

下载最新的 awstats，我使用的是迄今为止最新的7.0版本

安装到/usr/local下，这个路径是习惯。大部分人保持的良好习惯。

wget http://awstats.sourceforge.net/files/awstats-7.0.tar.gz

tar -zxvf awstats-7.0.tar.gz

mv awstats-7.0 /usr/local/awstats

修改权限，wget下载下来的包中权限是非root的，赋予过权限之后，.pl的文件也就可以运行了。

chown -R root:root /usr/local/awstats

chmod -R =rwX /usr/local/awstats

chmod +x /usr/local/awstats/tools/*.pl

chmod +x /usr/local/awstats/wwwroot/cgi-bin/*.pl

然后执行 tools 目录中的 awstats_configure.pl 配置向导，创建一个新的统计

运行(注意这里要在当前目录运行。否则会有一些关于标准目录的提示。)

cd /usr/local/awstats/tools

./awstats_configure.pl

将会有如下一些提示：

-----> Running OS detected: Linux, BSD or Unix

-----> Check for web server install

Enter full config file path of your Web server.

Example: /etc/httpd/httpd.conf

Example: /usr/local/apache2/conf/httpd.conf

Example: c:\Program files\apache group\apache\conf\httpd.conf

Config file path ('none' to skip web server setup):

>none #这里添none并回车，因为我们没有使用apache

回车之后下一个选项

Your web server config file(s) could not be found.

You will need to setup your web server manually to declare AWStats

script as a CGI, if you want to build reports dynamically.

See AWStats setup documentation (file docs/index.html)

 -----> Update model config file '/usr/local/awstats/wwwroot/cgi-bin/awstats.model.conf'

 File awstats.model.conf updated.

-----> Need to create a new config file ?

Do you want me to build a new AWStats config/profile

file (required if first install) [y/N] ?

#这里选Y，创建一个新的配置文件

-----> Define config file name to create

What is the name of your web site or profile analysis ?

Example: www.mysite.com

Example: demo

Your web site, virtual server or profile name:

>akii.org  #这里输入你要分析的域名，或是随便一个你易记的配置名并回车

接下来要定义你的配置文件存放的路径，可用默认

-----> Define config file path

In which directory do you plan to store your config file(s) ?

Default: /etc/awstats

Directory path to store config file(s) (Enter for default):

> #直接回车，使用默认路径/etc/awstats

回车后的提示

-----> Create config file '/etc/awstats/awstats.akii.org.conf'

 Config file /etc/awstats/awstats.akii.org.conf created.

 

-----> Add update process inside a scheduler

Sorry, configure.pl does not support automatic add to cron yet.

You can do it manually by adding the following command to your cron:

/usr/local/awstats/wwwroot/cgi-bin/awstats.pl -update -config=akii.org

Or if you have several config files and prefer having only one command:

/usr/local/awstats/tools/awstats_updateall.pl now

Press ENTER to continue... #按回车继续

 

A SIMPLE config file has been created: /etc/awstats/awstats.akii.org.conf

You should have a look inside to check and change manually main parameters.

You can then manually update your statistics for 'yuyuanchun.com' with command:

> perl awstats.pl -update -config=akii.org

You can also build static report pages for 'akii.org' with command:

> perl awstats.pl -output=pagetype -config=akii.org

 

Press ENTER to finish... #回车完成配置文件的创建