Linux下定时切割Nginx访问日志

###前言 一个非常繁忙的站点每天产生的日志量是非常巨大的，当我们需要查看某一天的日志记录时，日志文件过大会导致过滤指定内容非常的缓慢而且不易于查询。此时定时按天切割Nginx的访问日志显得尤为重要。

##说明:

站点1：www.a.com
站点2：www.b.net

Nginx配置文件路径：

/etc/nginx/nginx.conf

站点1配置文件：

/etc/nginx/conf.d/www.a.com.conf

站点2配置文件：

/etc/nginx/conf.d/www.b.net.conf

##目的：

• 1、对站点1和站点2的nginx访问日志按天保存，日志路径为：

站点1：/data/logs/www.a.com
站点2：/data/logs/www.b.net

• 2、只保留30天以内的日志记录

##具体操作：

###1、设置Nginx日志记录格式

[root@Bj-1-141 ~]# vim /etc/nginx/nginx.conf
log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                '$status $body_bytes_sent "$http_referer" '
                '"$http_user_agent" "$http_x_forwarded_for"';
取消日志记录格式前面的注释，在最后一行添加一行，如下所示：
log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                '$status $body_bytes_sent "$http_referer" '
                '"$http_user_agent" "$http_x_forwarded_for"'
                '$http_host $upstream_status $upstream_addr $request_time $upstream_response_time'; # 新添加的一行
:wq! # 保存退出

###2、设置虚拟主机配置文件

[root@Bj-1-141 ~]# vim /etc/nginx/conf.d/www.a.com.conf # 编辑，在www.a.com;这一行下面添加
access_log /data/logs/www.a.com/a_access.log main; #注意这里的main要和上一步中的main一致；
:wq! #保存退出

[root@Bj-1-141 ~]# vim /etc/nginx/conf.d/www.b.net # 编辑，在www.b.net;这一行下面添加
access_log /data/logs/www.b.net/b_access.log main; #注意这里的main要和上一步中的main一致；
:wq! #保存退出

[root@Bj-1-141 ~]# nginx -t # 检查配置文件语法
nginx: the configuration file /etc/nginx/nginx.conf syntax is ok
nginx: configuration file /etc/nginx/nginx.conf test is successful
[root@Bj-1-141 ~]# systemctl restart nginx.service # 重新加载nginx配置文件

###3、创建Nginx日志切割脚本

[root@Bj-1-141 ~]# mkdir /data/scripts
[root@Bj-1-141 ~]# vim /data/scripts/cut_nginx_log.sh # 编辑
#!/bin/bash
logs_path="/data/logs/"
DAYS=30

mv ${logs_path}www.a.com/a_access.log ${logs_path}www.a.com/a_access_$(date -d "yesterday" +"%Y%m%d").log
mv ${logs_path}www.b.net/b_access.log ${logs_path}www.b.net/b_access_$(date -d "yesterday" +"%Y%m%d").log

kill -USR1 `cat /var/run/nginx.pid`

find ${logs_path}www.a.com/ -name "a_access_*" -type f -mtime +$DAYS -exec rm {} \;
find ${logs_path}www.b.net/ -name "b_access_*" -type f -mtime +$DAYS -exec rm {} \;
:wq! #保存退出

# 添加脚本执行权限
[root@Bj-1-141 ~]# chmod +x /data/scripts/cut_nginx_log.sh

###4、手动执行脚本测试

[root@Bj-1-141 ~]# cd /data/scripts/
[root@Bj-1-141 scripts]# ./cut_nginx_log.sh
[root@Bj-1-141 scripts]# ls /data/logs/www.a.com/
a_access_20170627.log  a_access.log
[root@Bj-1-141 scripts]# ls /data/logs/www.b.net/
b_access_20170627.log  b_access.log

###5、添加任务计划

[root@Bj-1-141 scripts]# crontab -e
# cut nginx log
0 0 * * * /bin/bash /data/scripts/cut_nginx_log.sh &>/dev/nu

每天会在/data/logs/www.a.com和/data/logs/www.b.net目录下生成类似a_access_20170627.log和b_access_20170627.log的日志文件，并且只保留最近30天的日志记录。

至此，Linux下定时切割Nginx访问日志并删除指定天数前的日志记录完成。 ##参数说明：

$remote_addr：客户端地址，192.168.1.2
$remote_user：客户端用户， -
$time_local：时间和时区，[28/Jun/2017:13:29:00 +0800]
$request：请求的URL路径和HTTP协议，"GET /member/userinfo.shtml HTTP/1.1"
$status：HTTP状态，200
$body_bytes_sent：发送给客户端页面大小，0
$http_referer：页面跳转来源，http://www.a.com/
$http_user_agent：用户访问终端，"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 
(KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36"
$http_x_forwarded_for：HTTP代理中，请求端真实IP，-
$http_host：用户在浏览器中输入URL(IP或者域名)地址，www.a.com
$upstream_status：upstream状态，200
$upstream_addr：后端upstream地址及端口，192.168.1.142:8080
$request_time：页面访问总时间，0.021
$upstream_response_time：页面访问中upstream响应时间，0.021

转载于:https://my.oschina.net/jiangshanlinux/blog/1514355