nohup.out等类似的日志切分
前言
最近频繁被日志文件过大导致的磁盘空间使用率达到100%的问题骚扰,所以决定找个办法一次性处理掉该问题。在原来的工作习惯中,个人比较喜欢用crond服务器调用true> *.log命令或者脚本的方式去清空日志文件,这次突然想到利用linux系统自带的logrotate服务进行日志切片滚动会不会更友好呢,所以做了尝试,并在本文中进行记录。
logrotate简介
logrotate是个十分有用的工具,它可以自动对日志进行截断(或轮循)、压缩以及删除旧的日志文件。例如,你可以设置logrotate,让/var/log/foo日志文件每天轮循,并删除超过7天的日志。配置完后,logrotate的运作完全自动化,不必进行任何进一步的人为干预,而且一般的linux内部自带的这个工具不需要安装。
环境检查
检查logrotate是否安装:
[root@ecs-20211122224817-2 ~]# rpm -qa |grep logrotate
logrotate-3.8.6-12.el7.x86_64
如果没有安装的话,请使用yum等方式进行安装。
配置
logrotate的配置文件是/etc/logrotate.conf,但通常不需要对它进行修改。日志文件的轮循设置在独立的配置文件中,它(们)放在/etc/logrotate.d/目录下。
新增配置文件:
[root@ecs-20211122224817-2 ~]# /etc/logrotate.d/goquorum
写入以下配置:
/mnt/datadisk/QBFT-Network/Node-1/nohup.out {
copytruncate
daily
dateext
rotate 7
compress
missingok
}
以下是常用配置介绍:
copytruncate 把当前log拷贝后截断。可以理解为把内容拷贝走作为备份,然后清空当前文件。但是这有一个问题就是拷贝和截断之间会有时间差,存在丢数据的可能。
daily 日志文件将按天轮循。其它可用值为‘weekly’,’monthly’,‘yearly’。
rotate 7 一次将存储5个归档日志。对于第六个归档,时间最久的归档将被删除。
dateext 使用日期作为命名格式。
size 500M 只有文件大于500M时才进行切片。
compress 在轮循任务完成后,已轮循的归档将使用gzip进行压缩。
delaycompress 总是与compress选项一起用,delaycompress选项指示logrotate不要将最近的归档压缩,压缩将在下一次轮循周期进行。这在你或任何软件仍然需要读取最新归档时很有用。
missingok 在日志轮循期间,任何错误将被忽略,例如“文件无法找到”之类的错误。
notifempty 如果日志文件为空,轮循不会进行。
create 644 root root 以指定的权限创建全新的日志文件,同时logrotate也会重命名原始日志文件。
postrotate/endscript 在所有其它指令完成后,postrotate和endscript里面指定的命令将被执行。在这种情况下,rsyslogd 进程将立即再次读取其配置并继续运行。
校验
利用logrotate命令进行配置文件校验,无错误输出即可:
[root@ecs-20211122224817-2 ~]# logrotate -d -f /etc/logrotate.d/goquorum
reading config file /etc/logrotate.d/goquorum
Allocating hash table for state file, size 15360 B
Handling 1 logs
rotating pattern: /mnt/datadisk/QBFT-Network/Node-1/nohup.out forced from command line (7 rotations)
empty log files are rotated, old logs are removed
considering log /mnt/datadisk/QBFT-Network/Node-1/nohup.out
log needs rotating
rotating log /mnt/datadisk/QBFT-Network/Node-1/nohup.out, log->rotateCount is 7
dateext suffix '-20221212'
glob pattern '-[0-9][0-9][0-9][0-9][0-9][0-9][0-9][0-9]'
glob finding old rotated logs failed
copying /mnt/datadisk/QBFT-Network/Node-1/nohup.out to /mnt/datadisk/QBFT-Network/Node-1/nohup.out-20221212
truncating /mnt/datadisk/QBFT-Network/Node-1/nohup.out
compressing log with: /bin/gzip
强制执行:
[root@ecs-20211122224817-2 ~]# logrotate -f /etc/logrotate.d/goquorum
检查执行结果:
可以看到日志文件切片成功,产生了以日期后缀命名的压缩文件。
[root@ecs-20211122224817-2 Node-1]# ll
total 40328
drwxr-xr-x 4 root root 4096 Dec 12 09:54 data
-rw------- 1 root root 107139 Dec 12 11:39 nohup.out
-rw------- 1 root root 41173681 Dec 12 11:36 nohup.out-20221212.gz
-rwxr-xr-x 1 root root 781 Nov 28 16:09 startup-node-1.sh
自动执行
以上执行结果均是手动执行的,那么logrotate可以自动执行吗?当然可以的。logrotate需要的cron任务在安装时就自动创建了。我们可以进行检查确认。
[root@ecs-20211122224817-2 ~]# cat /etc/cron.daily/logrotate
#!/bin/sh
/usr/sbin/logrotate -s /var/lib/logrotate/logrotate.status /etc/logrotate.conf
EXITVALUE=$?
if [ $EXITVALUE != 0 ]; then
/usr/bin/logger -t logrotate "ALERT exited abnormally with [$EXITVALUE]"
fi
exit 0
通过上面定义,我们可以知道logrotate是通过crond每日来触发的,因此只要保证crond启动,logrotate就会每日执行一次。