立Flag 学习Ng - 日志切割

最新推荐文章于 2024-04-29 16:05:06 发布

非鸽传书

最新推荐文章于 2024-04-29 16:05:06 发布

阅读量212

点赞数

分类专栏：分布式#nginx 文章标签： nginx

本文链接：https://blog.csdn.net/qq_15351029/article/details/112526994

版权

分布式#nginx 专栏收录该内容

8 篇文章 0 订阅

订阅专栏

立Flag 学习Ng - 日志切割

内容：

日志配置参数
日志切割

日志切割

先来看日志格式化

Nginx 有一个非常灵活的日志记录模式。每个级别的配置可以有各自独立的访问日志。日志格式通过 log_format命令来定义。 ngx_http_log_module 是用来定义请求日志格式的。

下面的内容其实在上一篇中的配置项中都有，这里属于专题学习

日志相关配置项（指令）

access_log

access_log path [format [buffer=size [flush=time]]];
access_log path format gzip[=level] [buffer=size] [flush=time];
access_log syslog:server=address[,parameter=value] [format];
access_log off;

gzip 压缩等级
buffer 设置内存缓存区大小。
flush 保存在缓存区中的最长时间

默认值:

access_log logs/access.log combined;

配置段:

http, server, location, if in location, limit_except

不记录日志：

access_log off;

使用默认 combined 格式记录日志：

access_log logs/access.log
# 或
access_log logs/access.log combined;

log_format

log_format name string …;

name 表示格式名称
string 表示等义的格式

默认值

log_format combined “…” ;

配置段:

http

log_format 有一个默认的无需设置的 combined 日志格式，相当于apache 的 combined 日志格式，如下所示：

log_format combined '$remote_addr - $remote_user [$time_local] '
' "$request" $status $body_bytes_sent '
' "$http_referer" "$http_user_agent" ';

如果 nginx 位于负载均衡器， squid， nginx 反向代理之后， web 服务器无法直接获取到客户端真实的 IP 地址了。$remote_addr 获取反向代理的 IP 地址。反向代理服务器在转发请求的 http 头信息中，可以增加 X-ForwardedFor 信息，用来记录客户端 IP 地址和客户端请求的服务器地址。如下所示：

log_format porxy '$http_x_forwarded_for - $remote_user [$time_local] '
' "$request" $status $body_bytes_sent '
' "$http_referer" "$http_user_agent" ';

日志格式允许包含的变量注释如下：

$remote_addr, $http_x_forwarded_for 记录客户端 IP 地址
$remote_user 记录客户端用户名称
$request 记录请求的 URL 和 HTTP 协议
$status 记录请求状态
$body_bytes_sent 发送给客户端的字节数，不包括响应头的大小；该变量与 Apache 模块 mod_log_config 里的“%B”参数兼容。
$bytes_sent 发送给客户端的总字节数。
$connection 连接的序列号。
$connection_requests 当前通过一个连接获得的请求数量。
$msec 日志写入时间。单位为秒，精度是毫秒。
$pipe 如果请求是通过 HTTP 流水线(pipelined)发送， pipe 值为“p”，否则为“.”。
$http_referer 记录从哪个页面链接访问过来的
$http_user_agent 记录客户端浏览器相关信息
$request_length 请求的长度（包括请求行，请求头和请求正文）。
$request_time 请求处理时间，单位为秒，精度毫秒；从读入客户端的第一个字节开始，直到把最后一个字符发送给客户端后进行日志写入为止。
$time_iso8601 ISO8601 标准格式下的本地时间。
$time_local 通用日志格式下的本地时间。

open_log_file_cache

对于每一条日志记录，都将是先打开文件，再写入日志，然后关闭。可以使用 open_log_file_cache 来设置日志文件缓存(默认是 off)。

open_log_file_cache max=N [inactive=time] [min_uses=N] [valid=time];
open_log_file_cache off;

默认值:

open_log_file_cache off;

配置段:

http, server, location

参数注释如下：

max:设置缓存中的最大文件描述符数量，如果缓存被占满，采用 LRU 算法将描述符关闭。
inactive:设置存活时间，默认是 10s
min_uses:设置在 inactive 时间段内，日志文件最少使用多少次后，该日志文件描述符记入缓存中，默认是 1 次
valid:设置检查频率，默认 60s
off：禁用缓存

示例：

open_log_file_cache max=1000 inactive=20s valid=1m min_uses=2;

log_subrequest

是否在 access_log 中记录子请求的访问日志。默认不记录。

log_subrequest on | off;

默认值:

log_subrequest off;

配置段:

http, server, location

log_not_found

是否在 error_log 中记录不存在的错误。默认是。

语法:

log_not_found on | off;

默认值:

log_not_found on;

配置段:

http, server, location

rewrite_log

由 ngx_http_rewrite_module 模块提供的。用来记录重写日志的。对于调试重写规则建议开启。

启用时将在 error log 中记录 notice 级别的重写日志。

语法:

rewrite_log on | off;

默认值:

rewrite_log off;

配置段:

http, server, location, if

error_log

配置错误日志。

语法:

error_log file | stderr | syslog:server=address[,parameter=value] [debug | info | notice |
warn | error | crit | alert | emerg];

默认值:

error_log logs/error.log error;

配置段:

main, http, server, location

切割

shell脚本

#!/bin/bash

LOGS_PATH=/usr/local/nginx/logs
HISTORY_PATH=/usr/local/nginx/logs/history
YESTERDAY=$(date -d "yesterday" +%Y-%m-%d)

# 按照日期分割访问日志文件
mv "${LOGS_PATH}/access.log" "${HISTORY_PATH}/access_${YESTERDAY}.log"
# 按照日期分割错误日志文件
mv "${LOGS_PATH}/error.log" "${HISTORY_PATH}/error_${YESTERDAY}.log"
# 重新打开日志文件
kill -USR1 $(cat /usr/local/nginx/logs/nginx.pid)

添加定时任务

# 将脚本文件放在 /usr/local/nginx/sbin 目录下
# 赋予执行权限
chmod +x /usr/local/nginx/sbin/log_split.sh
# 设置定时任务，每天0分0点执行一次
# 添加定时任务 
crontab -e
0 0 1 * * /usr/local/nginx/sbin/og_split.sh
# 查看定时任务 
crontab -l
# 删除定时任务
# 使用下面命令打开文件，删除相应信息
crontab -e

实操

这里仅是能正常输出日志，更多的细节以后遇到的时候在进行补充（😶，不然Flag就完不成啦）

指定日志输出位置和输出格式

#user  nobody;
worker_processes  1;
#error_log  logs/error.log;
#error_log  logs/error.log  notice;
#error_log  logs/error.log  info;
#pid        logs/nginx.pid;

events {
    worker_connections  1024;
}

http {
    include       mime.types;
    default_type  application/octet-stream;

    keepalive_timeout  65;

    map $http_upgrade $connection_upgrade {
        default upgrade;
        ''      close;
    }
         

    # log_format 这里注意下位置，一开始我写在了server里面，但是会报错
    # 经验证需要放在外面
    # 客户端ip - 客户端用户名称 - [时间]  url  请求状态  发送给客户端的字节数(不包括响应头的大小)
    # 从哪个页面链接访问过来   客户端浏览器相关信息	    
    log_format testformat '$http_x_forwarded_for - $remote_user [$time_local] '
			' "$request" $status $body_bytes_sent '
			' "$http_referer" "$http_user_agent" ';		
   
    server {
        listen       80;
        server_name  localhost;
	
	# 配置access.log	指定这个虚拟server的access日志路径
	access_log  /usr/local/nginx/logs/test_access.log;	

        location / {
            root   html;
            index  index.html index.htm;
        }
        
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }           
    }      			
}

测试访问80端口后查看对应路径存在test_access.log日志。

查看日志信息

# 客户端ip - 客户端用户名称 - [时间]  url  请求状态  发送给客户端的字节数(不包括响应头的大小) 从哪个页面链接访问过来   客户端浏览器相关信息	
10.1.112.115 - - [12/Jan/2021:14:16:41 +0800] "GET / HTTP/1.1" 304 0 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.83 Safari/537.36"

这里可以看到日志输出的信息是符合我们自定义的格式的。

编写shell脚本进行日志切割

# 进入目录
> cd /usr/local/nginx/sbin
# 创建文件
> vim test_nglog_split
# 写入如下内容
#!/bin/bash

LOGS_PATH=/usr/local/nginx/logs
HISTORY_PATH=/usr/local/nginx/logs/history
YESTERDAY=$(date -d "yesterday" +%Y-%m-%d)

# 按照日期分割访问日志文件
mv "${LOGS_PATH}/test_access.log" "${HISTORY_PATH}/test_access${YESTERDAY}.log"
# 按照日期分割错误日志文件
mv "${LOGS_PATH}/error.log" "${HISTORY_PATH}/error_${YESTERDAY}.log"
# 重新打开日志文件
kill -USR1 $(cat /usr/local/nginx/logs/nginx.pid)

# 赋予执行权限
> chmod +x /usr/local/nginx/sbin/test_nglog_split
# 设置定时任务，这里为了测试就把时间周期改为每分钟执行一次
# 添加定时任务 
> crontab -e
*/1 * * * * /usr/local/nginx/sbin/test_nglog_split
# 新创建的cron job，不会马上执行，至少要过2分钟才执行。如果重启cron则马上执行
> /etc/init.d/crond restart
# 进入history目录验证
> cd /usr/local/nginx/logs/history
> ll
-rw-r--r-- 1 nobody root 2060 Jan 12 14:45 error_2021-01-11.log
-rw-r--r-- 1 nobody root  304 Jan 12 14:45 test_access2021-01-11.log
# 删除测试的定时任务
> crontab -e

比较简单的应用，后面遇到更详细的场景需求如果我记得会在写一篇补充文档。（毕竟我不是做运维工作的，遇到的场景会比较少）

非鸽传书

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
立Flag 学习Ng - 日志切割

立Flag 学习Ng - 日志切割内容：日志配置参数日志切割日志切割先来看日志格式化Nginx 有一个非常灵活的日志记录模式。每个级别的配置可以有各自独立的访问日志。日志格式通过 log_format命令来定义。 ngx_http_log_module 是用来定义请求日志格式的。下面的内容其实在上一篇中的配置项中都有，这里属于专题学习日志相关配置项（指令）access_logaccess_log path [format [buffer=size [flush=time]]];a
复制链接

扫一扫