Nginx 日志处理、awstats分析(学习笔记十三)

1、log_format wwwlogs '$remote_addr-$remote_usr [$time_local] "$request" ' 

'$status $body_bytes_sent "$http_referer" ' 

'"$http_user_agent" $http_x_forwarded_for'; 

access_log /data1/logs/wwwlogs.log wwwlogs; 

log_format

语法：log_format name format [format ...] 

默认值：log_format combined "..." 

使用字段：http server 

描述记录日志的格式，格式中可以使用大多数变量，也包括一些在写入日志文件过程中定义的变量：

•$body_bytes_sent，减去应答头后传送给客户端的字节数，这个变量兼容apache模块mod_log_config的%B参数（在0.3.10前这个变量为$apache_bytes_sent）。

•$bytes_sent，传送给客户端的字节数。

•$connection，连接数。

•$msec，正在写入日志条目的当前时间（精确到百万分之一秒）

•$pipe，如果请求为管道的。

•$request_length，请求主体的长度。

•$request_time，从一个请求发出到而使nginx工作的时间，单位为毫秒（0.5.19版本后可以使用秒为单位）。

•$status，应答的状态（代码）。

•$time_local，写入普通日志格式的当地时间（服务器时间）。

2、切割脚本

3、Awstats

A、 安装配置awstats

安装之前，必须确认你的服务器上 Perl 的环境已经就绪。

查看当前环境 Perl 版本的命令是 perl –version

我们还需要对 Nginx 的日志格式做个小修改，不然 awstats 将无法进行统计。

log_format new_log #格式代称 (注意，如果有多个虚拟主机，代称不能一样)

'$remote_addr - $remote_user [$time_local] $request '

'"$status" $body_bytes_sent "$http_referer" '

'"$http_user_agent" "$http_x_forwarded_for"';

access_log logs/access.log new_log; #日志生成路径

下载最新版本的 awstats 包，下载地址请见文章最后的参考资料。把下载后的 tar 包解压到任意目录中，例: /usr/local/awstats 。然后执行 tools 目录中的 awstats_configure.pl 配置向导，创建一个新的统计。

-----> Check for web server install

Enter full config file path of your Web server.

Example: /etc/httpd/httpd.conf

Example: /usr/local/apache2/conf/httpd.conf

Example: c:\Program files\apache group\apache\conf\httpd.conf

Config file path ('none' to skip web server setup):

#> none #因为我们这里用的是 Nginx，所以写 none，跳过。

回车

Your web server config file(s) could not be found.

You will need to setup your web server manually to declare AWStats

script as a CGI, if you want to build reports dynamically.

See AWStats setup documentation (file docs/index.html)

-----> Update model config file '/usr/local/awstats/wwwroot/cgi-bin/awstats.model.conf'

File awstats.model.conf updated.

-----> Need to create a new config file ?

Do you want me to build a new AWStats config/profile

file (required if first install) [y/N] ?

#> y #y 创建一个新的统计配置

回车

-----> Define config file name to create

What is the name of your web site or profile analysis ?

Example: www.mysite.com

Example: demo

Your web site, virtual server or profile name:

#> www.moabc.net #统计网站的域名 例：

www.moabc.net

回车

-----> Define config file path

In which directory do you plan to store your config file(s) ?

Default: /etc/awstats

Directory path to store config file(s) (Enter for default):

#> 

使用默认直接回车，接下来便会出现以下的提示

----> Add update process inside a scheduler

Sorry, configure.pl does not support automatic add to cron yet.

You can do it manually by adding the following command to your cron:

/usr/local/awstats/wwwroot/cgi-bin/awstats.pl -update -config=www.moabc.net 

#回头把该命令填入crontab 按指定时间执行

Or if you have several config files and prefer having only one command:

/usr/local/awstats/tools/awstats_updateall.pl now

Press ENTER to continue... 回车继续

A SIMPLE config file has been created: /etc/awstats/awstats.www.moabc.net.conf 

#新配置文件所在的路径

You should have a look inside to check and change manually main parameters.

You can then manually update your statistics for 'www.moabc.net' with command:

> perl awstats.pl -update -config=www.moabc.net

You can also build static report pages for 'www.moabc.net' with command:

> perl awstats.pl -output=pagetype -config=www.moabc.net

Press ENTER to finish...

回车完成向导，接下来修改 www.moabc.net 的统计配置

#vi /etc/awstats/awstats.www.moabc.net.conf

找到统计的日志文件的路径

LogFile="/var/log/httpd/mylog.log"

改为

LogFile="/opt/nginx/logs/access_%YYYY-0%MM-0%DD-0.log

对应上边 Nginx 日志切割程序的所生成的目录存放结构，要注意 Awstats 的年月日格式的跟 Nginx 的写法有所不同。我们现在执行 

统计的顺序是：

Nginx 产生日志 –> 日志切割 –> Nginx 继续产生日志 –> 另存切割日志 –> 交由Awstats统计 –> 生成结果

在本文中 Awstats 所统计的日志，是已切下来的那部分。也能调转顺序，先统计完了再切。不过这比较容易造成统计的遗漏。配置修 

改完成后，保存退出。然后我们可以开始试一下手动执行。

1. 先执行日志切割脚本 logcron.sh 把 Nginx 的日志切下来。

2. 然后执行 Awstats 日志更新程序开始统计分析。

# /opt/nginx/sbin/logcron.sh

# /usr/local/awstats/wwwroot/cgi-bin/awstats.pl -update -config=www.moabc.net

Create/Update database for config "/etc/awstats/awstats.www.moabc.net.conf"

by AWStats version 6.7 (build 1.892)

From data in log file "/opt/nginx/logs/access_20080804.log"...

Phase 1 : First bypass old records, searching new record...

Direct access after last parsed record (after line 450421)

Jumped lines in file: 450421

Found 450421 already parsed records.

Parsed lines in file: 120

Found 0 dropped records,

Found 0 corrupted records,

Found 0 old records,

Found 120 new qualified records.

看到以上显示，证明日志切割和 Awstats 都已经运行无误了。统计分析完成后，结果还在 Awstats 的数据库中。在 Apache 上，可 

以直接打开 Perl 程序的网页查看统计。但本文开始时已经提到，Nginx 对 Perl 支持并不好，所以我们要换个方法，利用 awstats 的工具将统计的结果生成静态文件，具体的步骤如下：

* 首先在 webroot 目录下创建一个文件夹。例：/data/webroot/awstats

* 然后让 Awstats 把静态页面生成到该目录中

# mkdir /data/webroot/awstats

# /usr/local/awstats/tools/awstats_buildstaticpages.pl -update \ 

-config=www.moabc.net -lang=cn -dir=/data/admin_web/awstats \

-awstatsprog=/usr/local/awstats/wwwroot/cgi-bin/awstats.pl

上述命令的具体意思如下：

* /usr/local/awstats/tools/awstats_buildstaticpages.pl Awstats 静态页面生成工具

* -update -config=www.moabc.net 更新配置项

* -lang=cn 语言为中文

* -dir=/data/admin_web/awstats 统计结果输出目录

* -awstatsprog=/usr/local/awstats/wwwroot/cgi-bin/awstats.pl Awstats 日志更新程序路径。

B、配置密码及nginx

配置密码保护

#/usr/local/apache2/bin/htpasswd -c admin.pass admin #用户名为admin

New password: 输入密码

Re-type new password: 重复输入

Adding password for user admin 创建成功

接下来，只需目录配置上去即可。例子如下:

location ~ ^/awstats/ { # html 静态页面目录 

root /data/webroot/awstats; 

index index.html; 

access_logoff; 

error_logoff; 

charset gb2312; #最好把默认编码改成 gb2312避免浏览器因自动编码出现乱码的情况 

auth_basic"admin"; #用户名 

/opt/ngx/conf/admin.pass; #密码包路径 

} 

location ~ ^/icon/ { # 图标目录 

root /usr/local/awstats/wwwroot; 

index index.html; 

access_logoff; 

error_logoff; 

charset gb2312; 

} 

} 

用浏览器查看到统计的详细结果 http://youhostname/awstats/awstats.www.moabc.net.html

至此，使用 awstats 已能完全支持 Nginx 的日志统计。

C、Awstats自动运行 

为了让整个日志的统计过程自动完成，我们需要设置 crontab 计划任务，让 Nginx 日志切割以及 Awstats 自动运行，定时生成结果页面。

#vi /etc/crontab

11 59 * * * /opt/nginx/sbin/logcron.sh #半夜11:59 进行日志切割

00 1 * * * /usr/local/awstats/tools/awstats_buildstaticpages.pl \

-update -config=www.moabc.net -lang=cn -dir=/data/admin_web/awstats \

-awstatsprog=/usr/local/awstats/wwwroot/cgi-bin/awstats.pl 

#凌晨00:01 Awstats进行日志分析

:wq保存退出

#crontab /etc/crontab 指定cron所执行的配置档路径

4、过滤日志

location ~ .*\.(js|jpg|JPG|jpeg|JPEG|css|bmp|gif|GIF)$ 

{ 

access_logoff; 

}