Nginx访问日志

Nginx访问日志

标签（空格分隔）： nginx

日志对于统计排错来说非常有利的。nginx的log日志分为access log 和 error log.nginx。其中access log 记录了哪些用户，哪些页面以及用户浏览器、ip和其他的访问信息。error log 则是记录服务器错误日志。

日志相关的配置有 access_log、error_log、log_format、open_log_file_cache、log_not_found、log_subrequest、rewrite_log、error_log

1 access_log

#语法 
access_log  path [format [buffer=size] [gzip[=level]] [flush=time] [if=condition]];
access_log  off;

#默认值 
access_log logs/access.log combined;

#上下文
http, server, location, if in location, limit_except

access_log 设定日志的路径、格式、buffer大小，是否压缩等。同一作用于内可以指定多个日志。在第一个路径前面加上 “syslog:” 前缀可以把日志输出到 syslog。关键字 off 可以关闭当前作用于的日志功能。如果没有指定format参数，默认为 “combined” 格式。如果 buffer 或 gzip 参数被指定，日志将会被缓冲。

若gzip被启用，缓冲数据被写入前会被压缩。压缩等级在 1~9之间，等级越高压缩率越高，压缩速度越慢。默认 buffer 是 64 bytes,压缩等级是1.由于压缩是按原子大小的，数据可以通过 zcat 岁时解压。要使用gzip，nginx必须安装zlib模块。
ps:

access_log /path/to/log.gz combined gzip flush=5m;

日志文件的 path 可以包含变量 (0.7.6+), 但此时日志文件有以下限制：

1. Nginx进程设置的用户和组必须有对该路径创建文件的权限
2. 缓存将不会被使用
3. 对于每一条日志记录，日志文件都将先打开文件，再写入日志记录，然后马上关闭。为了提高包含变量的日志文件存放路径的性能，须要使用open_log_file_cache指令设置经常被使用的日志文件描述符缓存。
4. 在写日志的时候会检查请求的根目录是否存在，若不存在则不会记录。因此最好在同一作用域内指定 root 和 access_log.
   ps :

server {
    root       /spool/vhost/data/$host;
    access_log /spool/vhost/logs/$host;
    ...

2 log_format

2.1 语法

#语法 
log_format name [escape=default|json] string ...;

#默认值    
log_format combined "...";

#上下文
http

日志格式允许包含的变量注释如下：

$remote_addr, $http_x_forwarded_for 记录客户端IP地址
$remote_user 记录客户端用户名称
$request 记录请求的URL和HTTP协议
$status 记录请求状态
$body_bytes_sent 发送给客户端的字节数，不包括响应头的大小； 该变量与Apache模块mod_log_config里的“%B”参数兼容。
$bytes_sent 发送给客户端的总字节数。
$connection 连接的序列号。
$connection_requests 当前通过一个连接获得的请求数量。
$msec 日志写入时间。单位为秒，精度是毫秒。
$pipe 如果请求是通过HTTP流水线(pipelined)发送，pipe值为“p”，否则为“.”。
$http_referer 记录从哪个页面链接访问过来的
$http_user_agent 记录客户端浏览器相关信息
$request_length 请求的长度（包括请求行，请求头和请求正文）。
$request_time 请求处理时间，单位为秒，精度毫秒； 从读入客户端的第一个字节开始，直到把最后一个字符发送给客户端后进行日志写入为止。
$time_iso8601 ISO8601标准格式下的本地时间。
$time_local 通用日志格式下的本地时间。
$sent_http_content_range  这是一个传递到客户端的头，这类头的前缀为"sent_http_" 。
$upstream_http_  这是有upstream模块产生了日志，因此它的前缀将会是这个前缀。 

2.2 预定义格式

2.2.1 combined log_format

log_format  combined   '$remote_addr - $remote_user  [$time_local]  '
                       ' "$request"  $status  $body_bytes_sent  '
                       ' "$http_referer"  "$http_user_agent" ';

2.2.2 main log_format

log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                  '"$status" $body_bytes_sent "$http_referer" '
                  '"$http_user_agent" "$http_x_forwarded_for" '
                  '"$gzip_ratio" $request_time $bytes_sent $request_length';

2.2.3 proxy log_format

如果nginx位于负载均衡器，squid，nginx反向代理之后，web服务器无法直接获取到客户端真实的IP地址了。 $remote_addr获取反向代理的IP地址。反向代理服务器在转发请求的http头信息中，可以增加X-Forwarded-For信息，用来记录 客户端IP地址和客户端请求的服务器地址。

log_format  porxy   '$http_x_forwarded_for - $remote_user  [$time_local]  '
                    ' "$request"  $status $body_bytes_sent '
                    ' "$http_referer"  "$http_user_agent" ';

3 open_log_file_cache 指令

这个指令为频繁使用的日志文件描述符所在的路径变量设置缓存。
对于 path 含有变量的 log , 定义 一个 cache 来 缓存 经常使用的 log 文件描述符。

#语法
open_log_file_cache max=N [inactive=time] [min_uses=N] [valid=time] | off

#默认值
open_log_file_cache off

#上下文
http server location

指令选项：
·max - 缓存中存储的最大文件描述符数。
·inactive - 设置缓存中在某个时间段内没有使用的文件描述符将被移除，默认为10秒。
·min_uses - 在一定时间内（inactive指定），一个文件描述符最少使用多少次后被放入缓存，默认为1。
·valid - 设置检查同名文件存在的时间，默认是60秒。
·off - 关闭 cache

ps:

open_log_file_cache max=1000 inactive=20s min_uses=2 valid=1m;

4 日志切割

通过如下方式达到日志切割：

# vi logcron.sh
log_dir="/usr/local/nginx/log/"
date_dir=`date +%Y%m%d`
/bin/mkdir -p ${log_dir}/${date_dir} > /dev/null 2>&1
/bin/mv ${log_dir}/access.log ${log_dir}/${date_dir}/access.log
kill -USR1 `cat /usr/local/nginx/run/nginx.pid`
定义一个cron，在每天晚上23:59:50执行这个脚本，后面的事情就交给awstats了。

5 Ref

Module ngx_http_log_module

Nginx 日志文件 access_log 详解