[续...]
[b]2.3 Nginx的日志文件配置与切割[/b]
在上一节的Nginx虚拟主机配置中,已经使用access_log进行了日志记录,这一节中将详细介绍Nginx访问日志文件的配置。
与 Nginx 日志相关的指令主要有两条,一条是 [color=red][b]log_format[/b][/color] ,用来设置日志的格式,另外一条是 [color=red][b]access_log[/b][/color] ,用来指定日志文件的存放路径、格式和缓存大小。两条指令在 Nginx 配置文件中的位置可以在http{...}之间,也可以在虚拟主机之间,即 server{...}两个大括号之间。
[b]2.3.1 用log_format指令设置日志格式[/b]
log_format指令用来设置日志的记录格式,它的语法如下:
其中:
[b]name [/b]表示定义的格式名称;
[b]format [/b]表示定义的格式样式。
log_format 有一个默认的、无须设置的 combined 日志格式设置,相当于 Apache 的 combined 日志格式,其具体参数如下:
log_format combined '$remote_addr - $remote_user [$time_local] '
'"$request" $status $body_bytes_sent ' '"$http_referer" "$http_user_agent"'
您也可以自定义一份日志的记录格式,不过要注意, l[color=red]og_format指令设置的 name 名称在 Nginx配置文件中是不能重复的。[/color]
假设将 Nginx 服务器作为 Web 服务器,位于负载均衡设备、 Squid 、Nginx 反向代理之后, 就[b]不能获取到客户端的真实IP地址[/b]了。原因是经过反向代理后,由于在客户端和 Web 服务器之 间地加了中间层,因此 Web 服务器无法直接拿到客户端的 IP,通过$remote_addr 变量拿到的将是反向代理服务器的 IP 地址。但是,反向代理服务器在转发请求的 HTTP 头信息中,可以增加 X-Forwarded-For信息,用以记录原有的客户端 IP 地址和原来客户端请求的服务器地址。
这时候,就要用 log_format 指令来设置日志格式 ,让日志记录 X-Forwarded-For 信息中的IP 地址 ,即客户的真实IP。
[b]2.3.2 用 access_log 指令指定日志文件存放路径[/b]
用 log_format 指令设置了日志格式之后,需要用 access_log 指令指定日志文件存放路径。access_log 指令的语法如下:
其中:
[b]path [/b]表示日志文件的存放路径;
[b]format [/b]表示使用 log_format 指令设置的日志格式的名称,
[b]buffer=size[/b] 表示设置内存缓冲区的大小,例如可以设置 buffer=32k。
(1)如果不想记录日志,可以使用以下指令关闭日志记录:
access_log off;
(2)如果想使用默认的 combined 格式的日志记录,可以使用以下示例:
access_log /data1/1ogs/filename.log;
或者
access_log /data1/1ogs/filename.log combined;
(3)如果想使用自定义格式的日志记录,可以使用以下示例,其中的 mylogformat 是日志格 式名称:
log_format mylogformat '$remote_addr - $remote_user [$time_local] "$request" ‘
‘$status $body_þytes_sent "$http_referer" ‘
‘ “$http_user_agent'' $http_x_forwarded_for';
access_log /data1/logs/access.log mylogformat buffer=32k;
(4)在 Nginx 0.7.4之后的版本中,access_log 指令中的日志文件路径可以包含变量,例如:
access_log /data1/1ogs/$server_name.log combined;
假设 server_name 指令设置的虚拟主机名称为 test.domain.com ,那么access_log 指令将把访问日志记录在/data1/logs/test.domain.com.log 文件中。 如果日志文件路径中含有变量,将存在以下一些[color=red][b]限制[/b][/color]:
(1) Nginx 进程设置的用户和组[color=red]必须有对该路径创建文件的权限[/color]。假设 Nginx 的 user 指令 设置的用户名和用户组都是 WWW ,而/data1/logs/ 目录的用户名和用户组为 root ,日志文件/data1/logs/test.domain.com.log 将无法被 Nginx 创建:
(2)缓存将不会被使用;
(3)对于每一条日志记录,日志文件都将先打开文件,再写入日志记录,然后马上关闭。 为了提高包含变量的日志文件存放路径的性能,需要使用 open_log_file_cache 指令设置经常被使用的日志文件描述符缓存。
[b]open_log_file_cache[/b] 指令主要用来设置含有变量的日志路径的文件描述符缓存,它的语法 如下:
open_log_file_cache max=N [inactive=time] [mim_uses=N] [valid=time] | off
[color=red]该指令默认是禁止的[/color],等同于:
open_log_file_cache off;
open_log_file_cache 指令的各项参数说明如下:
[b]max[/b]: 设置缓存中的最大文件描述符数量。如果超过设置的最大文件描述符数量,则采用 LRU (Least Recently Used) 算法清除"较不常使用的文件描述符"。 LRU (Least Recently Used) 算 法的基本概念是:当内存缓冲区剩余的可用空间不够时,缓冲区尽可能地先保留使用者最常使用 的数据,将最近未使用的数据移出内存,腾出空间来加载另外的数据。
[b]inactive[/b]: 设置一个时间,如果在设置的时间内没有使用此文件描述符,则自动删除此描述符。 此参数为可选参数,默认的时间为 10 秒钟。
[b]min_uses[/b]: 在参数 inactive 指定的时间范围内,如果日志文件超过被使用的次数,则将该日 志文件的描述符记入缓存。默认次数为 1。
[b]valid[/b]: 设置多长时间检查一次,看一看变量指定的日志文件路径与文件名是否仍然存在。默 认时间为 60秒。
[b]off[/b]: 禁止使用缓存。
open_log_file_cache 指令的设置示例如下:
open_log_file_cache max=1000 inactive=20s min_uses=2 valid=1m;
[b]2.3.3 Nginx 日志文件的切割[/b]
生产环境中的服务器,由于访问日志文件增长速度非常快,日志太大会严重影响服务器效率。
同时,为了方便对日志进行分析计算,须要对日志文件进行定时切割.定时切割的方式有按月切 割、按天切割、按小时切割等。[b]最常用的是按天切割[/b]。
Nginx 不支持像 Apache 一样使用 cronolog 来轮转日志,但是可以采用以下方式来实现日志 文件的切割:
首先通过 mv 命令将日志文件重命名为 /data1/logs/20090318.log,然后发送kill –USR1 信号给 Nginx 的主进程号,让 Nginx 重新生成一个新的日志文件 /data1/logs/access.log。如果nginx.conf 配置文件中使用了 "pid /usr/local/webserver/nginx/nginx.pid;" 指令,指定了 pid 文件的存放路径,我们可以通过 cat 这个 pid 文件获得 Nginx 的主进程号,命令如下 :
kill –USR1 `cat /usr/local/webserver/nginx/nginx.pid`
2)如果想每天定时切割日志,还须要借助 crontab. 我们可以写一个按天切割的日志,按年、月 份目录存放日志的 shell 脚本:
输入以下内容井保存:
另外,配置 crontab 每天凌晨 00:00 定时执行这个脚本:
crontab -e
输入以下内容并保存:
00 00 * * * /bin/bash /usr/local/webserver/nginx/sbin/cut_nginx_log.sh
这个 shell 脚本和 crontab 配置主要实现的功能为:假设今天的日期为 2009 年 5 月 19 日,Nginx 当前的日志文件为/data1/1ogs/access .log ,2009 年 5 月 20 日00:00 会执行 cut_nginx_log.sh 脚本, cut_nginx_log.sh 脚本首先创建-个目录 /data1/1ogs/2009/05,然后将/data1/1ogs/access.log 文件 移动并重命名为 /data1/logs/2009/05/access_20090519.log ,再发送kill -USR1 信号给 Nginx 主进 程号,告诉 Nginx 重新生成一个 /data1/1ogs/access.log 文件, 2009 年 5 月 20 日的日志记录在这 个新生成的日志文件中。而 /data1/1ogs/2009/05/access_20090519.log 文件,就是 2009 年 5 月 19 日的日志文件。
[b]2.4 Nginx 的压缩输出配置[/b]
gzip (GNU-ZIP) 是一种压缩技术。经过 gzip 压缩后页面大小可以变为原来的 30%甚至更小。 这样,用户浏览页面的时候速度会快得多。 gzip 的压缩页面需要浏览器和服务器双方都支持,实 际上就是服务器端压缩,传到浏览器后浏览器解压并解析。浏览器那里不需要我们担心,因为 IE、 Firefox 、Opera 、Chrome 等绝大多数浏览器都支持解析 gzip 过的页面。
Nginx 的压缩输出由一组 gzip 压缩指令来实现。我们从示例入手,来学习 gzip 压缩输出。 gzip压缩输出的相关指令位于 http{......} 两个大括号之间:
[b]2.5 Nginx 的浏览器本地缓存设置[/b]
浏览器缓存 (Browser Caching) 是为了加速浏览,浏览器在用户磁盘上对最近请求过的文档 进行存储,当访问者再次请求这个页面时,浏览器就可以从本地磁盘显示文档,这样就可以加速 页面的阅览。缓存的方式节约了网络的资源,提高了网络的效率。
浏览器缓存可以通过 expires 指令输出 Header 头来实现. expires 指令的语法如下:
语法:
默认值: expires off
作用域: http, server, location
用途:使用本指令可以控制 HTTP 应答中的"Expires" 和"Cache-Control" 的 Header 头信息(起到控制页面缓存的作用)。
可以在 time 值中使用正数或负数。 "Expires" 头标的值将通过当前系统时间加上您设定的
time 值来获得。
[b]epoch[/b]指定 "Expires"的值为 1 January ,1970,00:00:01 GMT.
[b]max[/b]指定 "Expires" 的值为 31 December 2037 23:59:59 GMT. "Cache-Control" 的值为 10年。-1 指定 "Expires" 的值为服务器当前时间减1秒, 即永远过期。
"Cache-Control"头标的值由您指定的时间来决定。
负数: Cache-Control: no-cache
正数或零: Cache-Control: max-age=#,#为指定时间的秒数。
"off" 表示不修改 "Expires" 和 "Cache-Control" 的值。
假设一个 HTML 页面中会引用-些 JavaScript 文件、图片文件,而这些格式的文件很少会被 修改,则可以通过expires 设置浏览器缓存。
例:对常见格式的图片、Flash 文件在浏览器本地缓存 30 天,对 js 、css 文件在浏览器本地 缓存 1 小时,如代码所示:
location ~ .*\.(gif|jpg|jpeg|png|bmp|swf)$
{
expires 30d;
}
location ~ .*\.(jslcss)?$
{
expires 1h;
}
参考资料:
《实战Nginx 取代apache的高性能web服务器》
[b]2.3 Nginx的日志文件配置与切割[/b]
在上一节的Nginx虚拟主机配置中,已经使用access_log进行了日志记录,这一节中将详细介绍Nginx访问日志文件的配置。
与 Nginx 日志相关的指令主要有两条,一条是 [color=red][b]log_format[/b][/color] ,用来设置日志的格式,另外一条是 [color=red][b]access_log[/b][/color] ,用来指定日志文件的存放路径、格式和缓存大小。两条指令在 Nginx 配置文件中的位置可以在http{...}之间,也可以在虚拟主机之间,即 server{...}两个大括号之间。
[b]2.3.1 用log_format指令设置日志格式[/b]
log_format指令用来设置日志的记录格式,它的语法如下:
log_format name format [format ...]
其中:
[b]name [/b]表示定义的格式名称;
[b]format [/b]表示定义的格式样式。
log_format 有一个默认的、无须设置的 combined 日志格式设置,相当于 Apache 的 combined 日志格式,其具体参数如下:
log_format combined '$remote_addr - $remote_user [$time_local] '
'"$request" $status $body_bytes_sent ' '"$http_referer" "$http_user_agent"'
您也可以自定义一份日志的记录格式,不过要注意, l[color=red]og_format指令设置的 name 名称在 Nginx配置文件中是不能重复的。[/color]
假设将 Nginx 服务器作为 Web 服务器,位于负载均衡设备、 Squid 、Nginx 反向代理之后, 就[b]不能获取到客户端的真实IP地址[/b]了。原因是经过反向代理后,由于在客户端和 Web 服务器之 间地加了中间层,因此 Web 服务器无法直接拿到客户端的 IP,通过$remote_addr 变量拿到的将是反向代理服务器的 IP 地址。但是,反向代理服务器在转发请求的 HTTP 头信息中,可以增加 X-Forwarded-For信息,用以记录原有的客户端 IP 地址和原来客户端请求的服务器地址。
这时候,就要用 log_format 指令来设置日志格式 ,让日志记录 X-Forwarded-For 信息中的IP 地址 ,即客户的真实IP。
[b]2.3.2 用 access_log 指令指定日志文件存放路径[/b]
用 log_format 指令设置了日志格式之后,需要用 access_log 指令指定日志文件存放路径。access_log 指令的语法如下:
access_log path [format [buffer=size | off]]
其中:
[b]path [/b]表示日志文件的存放路径;
[b]format [/b]表示使用 log_format 指令设置的日志格式的名称,
[b]buffer=size[/b] 表示设置内存缓冲区的大小,例如可以设置 buffer=32k。
(1)如果不想记录日志,可以使用以下指令关闭日志记录:
access_log off;
(2)如果想使用默认的 combined 格式的日志记录,可以使用以下示例:
access_log /data1/1ogs/filename.log;
或者
access_log /data1/1ogs/filename.log combined;
(3)如果想使用自定义格式的日志记录,可以使用以下示例,其中的 mylogformat 是日志格 式名称:
log_format mylogformat '$remote_addr - $remote_user [$time_local] "$request" ‘
‘$status $body_þytes_sent "$http_referer" ‘
‘ “$http_user_agent'' $http_x_forwarded_for';
access_log /data1/logs/access.log mylogformat buffer=32k;
(4)在 Nginx 0.7.4之后的版本中,access_log 指令中的日志文件路径可以包含变量,例如:
access_log /data1/1ogs/$server_name.log combined;
假设 server_name 指令设置的虚拟主机名称为 test.domain.com ,那么access_log 指令将把访问日志记录在/data1/logs/test.domain.com.log 文件中。 如果日志文件路径中含有变量,将存在以下一些[color=red][b]限制[/b][/color]:
(1) Nginx 进程设置的用户和组[color=red]必须有对该路径创建文件的权限[/color]。假设 Nginx 的 user 指令 设置的用户名和用户组都是 WWW ,而/data1/logs/ 目录的用户名和用户组为 root ,日志文件/data1/logs/test.domain.com.log 将无法被 Nginx 创建:
(2)缓存将不会被使用;
(3)对于每一条日志记录,日志文件都将先打开文件,再写入日志记录,然后马上关闭。 为了提高包含变量的日志文件存放路径的性能,需要使用 open_log_file_cache 指令设置经常被使用的日志文件描述符缓存。
[b]open_log_file_cache[/b] 指令主要用来设置含有变量的日志路径的文件描述符缓存,它的语法 如下:
open_log_file_cache max=N [inactive=time] [mim_uses=N] [valid=time] | off
[color=red]该指令默认是禁止的[/color],等同于:
open_log_file_cache off;
open_log_file_cache 指令的各项参数说明如下:
[b]max[/b]: 设置缓存中的最大文件描述符数量。如果超过设置的最大文件描述符数量,则采用 LRU (Least Recently Used) 算法清除"较不常使用的文件描述符"。 LRU (Least Recently Used) 算 法的基本概念是:当内存缓冲区剩余的可用空间不够时,缓冲区尽可能地先保留使用者最常使用 的数据,将最近未使用的数据移出内存,腾出空间来加载另外的数据。
[b]inactive[/b]: 设置一个时间,如果在设置的时间内没有使用此文件描述符,则自动删除此描述符。 此参数为可选参数,默认的时间为 10 秒钟。
[b]min_uses[/b]: 在参数 inactive 指定的时间范围内,如果日志文件超过被使用的次数,则将该日 志文件的描述符记入缓存。默认次数为 1。
[b]valid[/b]: 设置多长时间检查一次,看一看变量指定的日志文件路径与文件名是否仍然存在。默 认时间为 60秒。
[b]off[/b]: 禁止使用缓存。
open_log_file_cache 指令的设置示例如下:
open_log_file_cache max=1000 inactive=20s min_uses=2 valid=1m;
[b]2.3.3 Nginx 日志文件的切割[/b]
生产环境中的服务器,由于访问日志文件增长速度非常快,日志太大会严重影响服务器效率。
同时,为了方便对日志进行分析计算,须要对日志文件进行定时切割.定时切割的方式有按月切 割、按天切割、按小时切割等。[b]最常用的是按天切割[/b]。
Nginx 不支持像 Apache 一样使用 cronolog 来轮转日志,但是可以采用以下方式来实现日志 文件的切割:
mv /data1/1ogs/access.log /data1/1ogs/20090318.1og
kill –USR1 Nginx主进程号
首先通过 mv 命令将日志文件重命名为 /data1/logs/20090318.log,然后发送kill –USR1 信号给 Nginx 的主进程号,让 Nginx 重新生成一个新的日志文件 /data1/logs/access.log。如果nginx.conf 配置文件中使用了 "pid /usr/local/webserver/nginx/nginx.pid;" 指令,指定了 pid 文件的存放路径,我们可以通过 cat 这个 pid 文件获得 Nginx 的主进程号,命令如下 :
kill –USR1 `cat /usr/local/webserver/nginx/nginx.pid`
2)如果想每天定时切割日志,还须要借助 crontab. 我们可以写一个按天切割的日志,按年、月 份目录存放日志的 shell 脚本:
vi /usr/local/webserver/nginx/sbin/cut_nginx_log.sh
输入以下内容井保存:
#!/bin/bash
#这个脚本在每天的 00:00 运行
# Nginx El志文件的存放移径
logs_path= "/data1/1ogs/"
mkdir -p ${logs_path}$(date -d "yesterday" +”%Y”)/$(date -d "yesterday" +"%m") / mv $(logs_path}access.log ${logs_path}$(date -d "yesterday" +"%Y")/$(date -d
yesterday" +"%m") /access_$(date –d “yesterday” + “%Y%m%d”).log
kill –USR1 `cat /usr/local/webserver/nginx/nginx.pid`
另外,配置 crontab 每天凌晨 00:00 定时执行这个脚本:
crontab -e
输入以下内容并保存:
00 00 * * * /bin/bash /usr/local/webserver/nginx/sbin/cut_nginx_log.sh
这个 shell 脚本和 crontab 配置主要实现的功能为:假设今天的日期为 2009 年 5 月 19 日,Nginx 当前的日志文件为/data1/1ogs/access .log ,2009 年 5 月 20 日00:00 会执行 cut_nginx_log.sh 脚本, cut_nginx_log.sh 脚本首先创建-个目录 /data1/1ogs/2009/05,然后将/data1/1ogs/access.log 文件 移动并重命名为 /data1/logs/2009/05/access_20090519.log ,再发送kill -USR1 信号给 Nginx 主进 程号,告诉 Nginx 重新生成一个 /data1/1ogs/access.log 文件, 2009 年 5 月 20 日的日志记录在这 个新生成的日志文件中。而 /data1/1ogs/2009/05/access_20090519.log 文件,就是 2009 年 5 月 19 日的日志文件。
[b]2.4 Nginx 的压缩输出配置[/b]
gzip (GNU-ZIP) 是一种压缩技术。经过 gzip 压缩后页面大小可以变为原来的 30%甚至更小。 这样,用户浏览页面的时候速度会快得多。 gzip 的压缩页面需要浏览器和服务器双方都支持,实 际上就是服务器端压缩,传到浏览器后浏览器解压并解析。浏览器那里不需要我们担心,因为 IE、 Firefox 、Opera 、Chrome 等绝大多数浏览器都支持解析 gzip 过的页面。
Nginx 的压缩输出由一组 gzip 压缩指令来实现。我们从示例入手,来学习 gzip 压缩输出。 gzip压缩输出的相关指令位于 http{......} 两个大括号之间:
gzip on;
gzip_min_length 1k;
gzip_buffers 4 16k;
gzip_http_version 1.1;
gzip_comp_leve1 2;
gzip_types text/p1ain app1ication/x-javascript text/css app1ication/xml;
gzip_vary on;
[b]2.5 Nginx 的浏览器本地缓存设置[/b]
浏览器缓存 (Browser Caching) 是为了加速浏览,浏览器在用户磁盘上对最近请求过的文档 进行存储,当访问者再次请求这个页面时,浏览器就可以从本地磁盘显示文档,这样就可以加速 页面的阅览。缓存的方式节约了网络的资源,提高了网络的效率。
浏览器缓存可以通过 expires 指令输出 Header 头来实现. expires 指令的语法如下:
语法:
expires [time|epochlmax|off]
默认值: expires off
作用域: http, server, location
用途:使用本指令可以控制 HTTP 应答中的"Expires" 和"Cache-Control" 的 Header 头信息(起到控制页面缓存的作用)。
可以在 time 值中使用正数或负数。 "Expires" 头标的值将通过当前系统时间加上您设定的
time 值来获得。
[b]epoch[/b]指定 "Expires"的值为 1 January ,1970,00:00:01 GMT.
[b]max[/b]指定 "Expires" 的值为 31 December 2037 23:59:59 GMT. "Cache-Control" 的值为 10年。-1 指定 "Expires" 的值为服务器当前时间减1秒, 即永远过期。
"Cache-Control"头标的值由您指定的时间来决定。
负数: Cache-Control: no-cache
正数或零: Cache-Control: max-age=#,#为指定时间的秒数。
"off" 表示不修改 "Expires" 和 "Cache-Control" 的值。
假设一个 HTML 页面中会引用-些 JavaScript 文件、图片文件,而这些格式的文件很少会被 修改,则可以通过expires 设置浏览器缓存。
例:对常见格式的图片、Flash 文件在浏览器本地缓存 30 天,对 js 、css 文件在浏览器本地 缓存 1 小时,如代码所示:
location ~ .*\.(gif|jpg|jpeg|png|bmp|swf)$
{
expires 30d;
}
location ~ .*\.(jslcss)?$
{
expires 1h;
}
参考资料:
《实战Nginx 取代apache的高性能web服务器》