通过logrotate实现nginx容器内日志按天存储

引言

场景

最近底层api需要上集群，于是用nginx做了转发，但是随着时间的增长，nginx的日志越来越大，磁盘空间也顶不住了，于是需要对日志进行分割，由于nginx原生是不支持日志按天存储和分割的，网上也介绍了通过配置nginx.conf的方式实现按天存储，但是经过本地简单测试并未生效，而且感觉不是很灵活，没有继续深挖。

现在有两种方式可以实现nginx日志的按天存储或者其他更定制化的需求：

自定义脚本

自定义脚本的核心是使用kill -USR1 `cat /var/run/nginx.pid` 命令。

该命令的大致意思是：如果存在PID文件，那么这个命令会向Nginx主进程发送一个USR1信号。

在Nginx中，USR1信号是用于重新打开日志文件，以实现日志文件切割和重新命名。通过发送USR1信号，Nginx主

进程会重新打开日志文件，然后开始写入新的日志数据，同时将旧的日志文件重命名为备份。

那么我们就可以mv或者压缩需要处理的旧的nginx日志文件，然后执行kill -USR1 `cat /var/run/nginx.pid` 指令。

但是这种方式虽然足够灵活和定制化，但缺点是操作间隙可能会导致部分日志无法写入出现丢失的情况。

使用logrotate

本文简要介绍更为强大和灵活的logrotate方式。

logrotate简要介绍

logrotate是一个日志文件管理工具。用于分割日志文件，删除旧的日志文件，并创建新的日志文件，起到“转储”作用。可以节省磁盘空间。 使用logrotate指令，可以轻松管理系统所产生的记录文件。每个记录文件都可被设置成每日，每周或每月处理，也能在文件太大时立即处理。

下面是logrotate的一些重要概念和功能：

1. 配置文件：logrotate的配置文件位于/etc/logrotate.conf和/etc/logrotate.d/目录下。其中，logrotate.conf是主配置文件，而/etc/logrotate.d/目录则包含其他应用程序的单独配置文件，每个配置文件对应一个应用程序的日志轮转规则。
2. 日志轮转规则：每个日志文件都可以在配置文件中定义一个轮转规则。这些规则包含了日志文件的路径、轮转周期（如每天、每周、每月等）以及保留的日志文件数量。
3. 预定义选项：logrotate提供了一些预定义的选项，例如daily（每天轮转）、weekly（每周轮转）、monthly（每月轮转）等。你可以在配置文件中使用这些选项来定义日志文件的轮转周期。
4. 轮转方式：logrotate支持不同的轮转方式，包括copytruncate（复制并截断）、rotate（旋转，即重命名并创建新文件）等。copytruncate方式会复制当前日志内容到新文件，然后截断当前日志文件，这样应用程序可以继续写入新文件。
5. postrotate和prerotate：在轮转之前或之后，logrotate可以运行用户定义的脚本。这在你需要在轮转期间执行额外操作时非常有用，比如重新启动服务或压缩旧日志文件。
6. 配置检查：logrotate提供了一个-d选项，可以用来检查配置文件的语法和效果，以帮助你确认轮转规则是否按预期工作。
7. 手动轮转：尽管logrotate会定期自动运行，但你也可以通过运行logrotate -f /path/to/config命令来手动触发日志轮转。

首先我们需要在一个镜像，镜像中有nginx、cron、logrotate 等软件，该镜像的制作和下载可参考:https://blog.csdn.net/weixin_43702146/article/details/131958486

容器内logrotate安装（Debian）

Linux系统默认安装logrotate工具，logrotate是基于cron来运行的，其脚本是/etc/cron.daily/logrotate，日志轮转是系统自动完成的。

实际运行时，logrotate会调用配置文件/etc/logrotate.conf。可以在/etc/logrotate.d目录里放置自定义好的配置文件，用来覆盖logrotate的缺省值

docker容器默认是不带logrotate工具的，安装步骤可参考:https://blog.csdn.net/weixin_43702146/article/details/131958486

logrotate 使用方式以及参数解释

• 语法：
  logrotate [选项] [配置文件] [配置参数]

• 选项：
  -d或–debug：debug 模式，详细显示指令执行过程，测试配置文件是否有错误
  -f或–force ：强制转储文件
  -s<状态文件>或–state=<状态文件>：使用指定的状态文件
  -v或–version：显示转储过程
  -m或–mail=command ：压缩日志后，发送日志到指定邮箱。
  -usage：显示指令基本用法

• 配置文件：
  指定lograote指令的配置文件，可缺省，缺省值为/etc/logrotate.conf

• 配置参数

指令	含义
daily	每天轮转一次。默认情况下，轮转周期是每周一次
weekly	指定转储周期为每周
monthly	指定转储周期为每月

指令	含义
rotate [count]	保留旧日志文件的数量。例如，rotate 5表示保留最近的5个旧日志文件。

指令	含义
dateext	使用当期日期作为命名格式
dateformat .%s	配合dateext使用，紧跟在下一行出现，定义文件切割后的文件名，必须配合dateext使用，只支持 %Y %m %d %s 这四个参数

指令	含义
compress	通过gzip 压缩转储以后的日志
delaycompress	在进行轮转时不立即压缩旧日志文件，而是推迟一次压缩操作。通常与compress选项一起使用，确保应用程序不会在压缩操作进行时无法写入新的日志数据。
nocompress	不做gzip压缩处理

指令	含义
create	轮转时指定创建新文件的属性，默认与之前的权限一致，也可自定权限和组，如create 640 nobody nobody
nocreate	不建立新的日志文件

指令	含义
size [size]	当日志文件大小达到指定大小时触发轮转。可以使用k表示KB，M表示MB，G表示GB。例如，size 100M表示日志文件大小达到100MB时进行轮转
maxsize [size]	设置日志文件的最大大小。一旦日志文件大小超过此限制，将强制进行轮转。与size选项不同的是，maxsize不会触发定期轮转，它仅在日志文件大小超过限制时才生效
minsize [size]	设置日志文件的最小大小。如果日志文件大小小于此限制，则不会进行轮转

指令	含义
ifempty	即使日志文件为空文件也做轮转，这个是logrotate的缺省选项
notifempty	只在日志文件非空时才进行轮转。如果日志文件为空，logrotate不会执行轮转操作
missingok	如果日志文件不存在，也不会报错。logrotate会继续执行其他轮转规则

指令	含义
postrotate [command] endscript	在轮转之后，postrotate 和 endscript 里面指定的命令将被执行，通常用于重新启动服务或执行其他额外的操作
prerotate [command] endscript	在轮转之前，prerotate 和 endscript 里面指定的命令将被执，同样也可用于执行一些预处理操作
sharedscripts	在执行postrotate和prerotate时，只运行一次共享脚本，而不是每个日志文件分别执行
dateyesterday	在执行postrotate或prerotate时，使用昨天的日期

指令	含义
copytruncate	在轮转时，将当前日志文件复制到新文件，然后截断当前日志文件。这使得应用程序可以继续写入当前文件，而不会受到日志文件名变化的影响
nocopytruncate	不使用复制并截断方式。旧日志文件会被重命名，这可能导致应用程序无法继续写入日志

指令	含义
errors [address]	专储时的错误信息发送到指定的Email 地址
mail [address]	把转储的日志文件发送到指定的E-mail 地址
nomail	转储时不发送日志文件

指令	含义
olddir [directory]	转储后的日志文件放入指定的目录，必须和当前日志文件在同一个文件系统
noolddir	转储后的日志文件和当前日志文件放在同一个目录下

使用logrotate测试切割

编辑配置文件

编辑文件 /etc/logrotate.d/nginx，以下是一个简要按天存储的配置

/var/log/nginx/*.log {
        # 每天轮转
        daily
        # 忽略错误
        missingok
        notifempty
        # 保留最近7个
        rotate 7
        # 禁用gzip压缩
        delaycompress
        # 创建新的文件
        create
        # 轮转后的日志文件后缀名为日期
        dateext
        # 轮转后执行脚本
        sharedscripts
        # 给nginx发送USR1信号，USR1信号是用于重新打开日志文件，以实现日志文件切割和重新命名。通过发送USR1`信号，Nginx主进程会重新打开日志文件，然后开始写入新的日志数据，同时将旧的日志文件重命名为备份。
        postrotate
                if [ -f /var/run/nginx.pid ]; then
                        kill -USR1 `cat /var/run/nginx.pid`
                fi
        endscript
}

修改状态文件

注意，当手动执行logrotate /etc/logrotate.conf时，执行之后并不会切割log文件。

logrotate的工作原理大概是：每次切割操作、或首次切割，会记录所有log文件的时间点在状态文件内 /var/lib/logrotate/status。

下一次执行的时候，如果判断时间减去记录的时间已经超过一定时长（配置的时间），那么就会执行切割。

所以如果你想马上切割，需要自己修改状态文件，把时间改为1天前，再执行。

修改状态文件vim /var/lib/logrotate/status：

logrotate state -- version 2
"/var/log/nginx/error.log" 2023-8-7-22:35:37
"/var/log/nginx/access.log" 2023-8-7-22:35:37

交互执行日志轮转logrotate -vf /etc/logrotate.d/nginx：

root@75e7c81b599d:/# logrotate -vf /etc/logrotate.d/nginx
reading config file /etc/logrotate.d/nginx
Creating stub state file: /var/lib/logrotate/status
Reading state from file: /var/lib/logrotate/status
Allocating hash table for state file, size 64 entries

Handling 1 logs

rotating pattern: /var/log/nginx/*.log  forced from command line (7 rotations)
empty log files are not rotated, old logs are removed
considering log /var/log/nginx/access.log
Creating new state
  Now: 2023-08-07 22:35
  Last rotated at 2023-08-07 22:00
  log needs rotating
considering log /var/log/nginx/error.log
Creating new state
  Now: 2023-08-07 22:35
  Last rotated at 2023-08-07 22:00
  log needs rotating
rotating log /var/log/nginx/access.log, log->rotateCount is 7
dateext suffix '-20230807'
glob pattern '-[0-9][0-9][0-9][0-9][0-9][0-9][0-9][0-9]'
rotating log /var/log/nginx/error.log, log->rotateCount is 7
dateext suffix '-20230807'
glob pattern '-[0-9][0-9][0-9][0-9][0-9][0-9][0-9][0-9]'
renaming /var/log/nginx/access.log to /var/log/nginx/access.log-20230807
creating new /var/log/nginx/access.log mode = 0644 uid = 101 gid = 0
renaming /var/log/nginx/error.log to /var/log/nginx/error.log-20230807
creating new /var/log/nginx/error.log mode = 0644 uid = 101 gid = 0
running postrotate script

发现指定目录下的日志已经变成了：

-rw-r--r-- 1  101 root 40745 Aug  7 22:41 access.log
-rw-r--r-- 1 root root  3173 Aug  7 14:32 access.log-20230806
-rw-r--r-- 1  101 root 61823 Aug  7 22:31 access.log-20230807
-rw-r--r-- 1  101 root   357 Aug  7 22:37 error.log
-rw-r--r-- 1 root root  2635 Aug  7 14:49 error.log-20230806
-rw-r--r-- 1  101 root 15466 Aug  7 22:35 error.log-20230807

配合定时任务完成每天轮转

启动定时任务

service cron start

crontab语法

crontab [-u user] file
或者
crontab [-u user] [ -e | -l | -r ]

参数说明:

• -u user 是指设定指定 user 的时程表，这个前提是你必须要有其权限(比如说是 root)才能够指定他人的时程表。如果不使用 -u user 的话，就是表示设定自己的时程表。
• -e 执行文字编辑器来设定时程表
• -l 列出目前的时程表
• -r 删除目前的时程表(慎用)

设置每天0点执行日志轮转

crontab -e

在弹出的编辑器内输入如下内容：

59 23 * * * /usr/sbin/logrotate -f /etc/logrotate.d/nginx

crontab -l查看当前定时任务：

root@75e7c81b599d:/# crontab -l
# Edit this file to introduce tasks to be run by cron.
# 
# Each task to run has to be defined through a single line
# indicating with different fields when the task will be run
# and what command to run for the task
# 
# To define the time you can provide concrete values for
# minute (m), hour (h), day of month (dom), month (mon),
# and day of week (dow) or use '*' in these fields (for 'any').
# 
# Notice that tasks will be started based on the cron's system
# daemon's notion of time and timezones.
# 
# Output of the crontab jobs (including errors) is sent through
# email to the user the crontab file belongs to (unless redirected).
# 
# For example, you can run a backup of all your user accounts
# at 5 a.m every week with:
# 0 5 * * 1 tar -zcf /var/backups/home.tgz /home/
# 
# For more information see the manual pages of crontab(5) and cron(8)
# 
# m h  dom mon dow   command
59 23 * * * /usr/sbin/logrotate -f /etc/logrotate.d/nginx

修改时区并重启服务

echo 'Asia/Shanghai' >/etc/timezone

service cron restart