Linux日志切割神器Logrotate

logrotate 程序是一个日志文件管理工具。用于分割日志文件，删除旧的日志文件，并创建新的日志文件，起到“转储”作用。可以节省磁盘空间。下面就对logrotate 日志轮转操作做一梳理记录。

为什么要切割日志文件？

• 大文件被切割后，访问速度大大加快
• 按天切割后，方便定位程序问题
• 删除旧的日志文件（比如2个月之前的），可以节省磁盘空间

1、配置文件介绍

Linux系统默认安装logrotate工具，它默认的配置文件在：

logrotate --version

/etc/logrotate.conf
/etc/logrotate.d/

logrotate.conf 才主要的配置文件，logrotate.d 是一个目录，该目录里的所有文件都会被主动的读入/etc/logrotate.conf中执行。另外，如果/etc/logrotate.d/里面的文件中没有设定一些细节，则会以/etc/logrotate.conf这个文件的设定来作为默认值。Logrotate是基于CRON来运行的，其脚本是/etc/cron.daily/logrotate，日志轮转是系统自动完成的。实际运行时，Logrotate会调用配置文件/etc/logrotate.conf。可以在/etc/logrotate.d目录里放置自定义好的配置文件，用来覆盖Logrotate的缺省值。

[root@huanqiu_web1 ~]# cat /etc/cron.daily/logrotate
#!/bin/sh

/usr/sbin/logrotate /etc/logrotate.conf >/dev/null 2>&1
EXITVALUE=$?
if [ $EXITVALUE != 0 ]; then
    /usr/bin/logger -t logrotate "ALERT exited abnormally with [$EXITVALUE]"
fi
exit 0

2、切割介绍

比如以系统日志/var/log/message做切割来简单说明下： 

• 第一次执行完rotate(轮转)之后，原本的messages会变成messages.1，而且会制造一个空的messages给系统来储存日志；
• 第二次执行之后，messages.1会变成messages.2，而messages会变成messages.1，又造成一个空的messages来储存日志！

如果仅设定保留三个日志（即轮转3次）的话，那么执行第三次时，则 messages.3这个档案就会被删除，并由后面的较新的保存日志所取代！也就是会保存最新的几个日志。

日志究竟轮换几次，这个是根据配置文件中的dateext参数来判定的。

所以，如果独立出来一个目录，那么每个要切割日志的服务， 就可以独自成为一个文件，并且放置到/etc/logrotate.d/ 当中。

其他重要参数说明：

compress                            #通过gzip 压缩转储以后的日志
nocompress                          #不做gzip压缩处理
copytruncate                        #用于还在打开中的日志文件，把当前日志备份并截断；是先拷贝再清空的方式，拷贝和清空之间有一个时间差，可能会丢失部分日志数据。
nocopytruncate                      #备份日志文件不过不截断
create mode owner group             #轮转时指定创建新文件的属性，如create 0777 nobody nobody
nocreate                            #不建立新的日志文件
delaycompress                      #和compress 一起使用时，转储的日志文件到下一次转储时才压缩
nodelaycompress                    #覆盖 delaycompress 选项，转储同时压缩。
missingok                          #如果日志丢失，不报错继续滚动下一个日志
errors address                     #专储时的错误信息发送到指定的Email 地址
ifempty                            #即使日志文件为空文件也做轮转，这个是logrotate的缺省选项。
notifempty                         #当日志文件为空时，不进行轮转
mail address                       #把转储的日志文件发送到指定的E-mail 地址
nomail                             #转储时不发送日志文件
olddir directory                   #转储后的日志文件放入指定的目录，必须和当前日志文件在同一个文件系统
noolddir                           #转储后的日志文件和当前日志文件放在同一个目录下
sharedscripts                      #运行postrotate脚本，作用是在所有日志都轮转后统一执行一次脚本。如果没有配置这个，那么每个日志轮转后都会执行一次脚本
prerotate                          #在logrotate转储之前需要执行的指令，例如修改文件的属性等动作；必须独立成行
postrotate                         #在logrotate转储之后需要执行的指令，例如重新启动 (kill -HUP) 某个服务！必须独立成行
daily                              #指定转储周期为每天
weekly                             #指定转储周期为每周
monthly                            #指定转储周期为每月
rotate count                       #指定日志文件删除之前转储的次数，0 指没有备份，5 指保留5 个备份
dateext                            #使用当期日期作为命名格式
dateformat .%s                     #配合dateext使用，紧跟在下一行出现，定义文件切割后的文件名，必须配合dateext使用，只支持 %Y %m %d %s 这四个参数
size(或minsize) log-size           #当日志文件到达指定的大小时才转储，log-size能指定bytes(缺省)及KB (sizek)或MB(sizem).
当日志文件 >= log-size 的时候就转储。 以下为合法格式：（其他格式的单位大小写没有试过）
size = 5 或 size 5 （>= 5 个字节就转储）
size = 100k 或 size 100k
size = 100M 或 size 100M

java程序日志切割实例

cat /etc/logrotate.d/java
/data/app/logs/*.log{
    create 0640 www-data www-data
    daily
    rotate 20
    copytruncate
    delaycompress
    compress
    notifempty
    missingok
}

nginx日志切割一例

[root@huanqiu_web1 ~]# cat /etc/logrotate.d/nginx
/var/log/nginx/*log
/data/logs/nginx/*/*log {
    daily
    rotate 365
    missingok
    notifempty
    compress
    dateext
    sharedscripts
    postrotate
    /etc/init.d/nginx reload
    endscript
}

[root@huanqiu_web1 ~]# ll /data/logs/nginx/www.huanqiu.com/
..........
-rw-r--r-- 1 root root      1652 Jan  1 00:00 error.log-20170101.gz
-rw-r--r-- 1 root root      1289 Jan  2 00:00 error.log-20170102.gz
-rw-r--r-- 1 root root      1633 Jan  3 00:00 error.log-20170103.gz
-rw-r--r-- 1 root root      3239 Jan  4 00:00 error.log-20170104.gz

手动强制切割

logrotate --force /etc/logrotate.d/*.log
logrotate --force /etc/logrotate.d/java

linux按时间查询日志

在系统应用集中部署的时候，很多日志因为太多难以定位，获取某段时间的日志是对运维人员非常关键的事情

cat | grep

grep 后面带上-A -B -C 参数可以多显示几行内容
grep -A 5 可以显示匹配内容以及后面的5行内容
grep -B 5 可以显示匹配内容以及前面的5行内容
grep -C 5 可以显示匹配内容以及前后面的5行内容

首先看一下日志的格式：
[2022-01-05 03:19:03] console.ERROR: Error thrown while running command

cat /var/log/size.txt | grep '[2022-01-05 03:19:03]' -C 5

sed 截选时间段日志

首先看一下日志的格式：

2010-11-17 09:25:55,606 [catalina-exec-74] INFO org.springframework.jdbc.datasource.JdbcTransactionObjectSupport  - JDBC 3.0 Savepoint class is available
2010-11-17 09:25:55,658 [catalina-exec-74] WARN org.hibernate.util.JDBCExceptionReporter  - SQL Error: 0, SQLState: null
2010-11-17 09:25:55,606 [catalina-exec-74] INFO org.springframework.jdbc.datasource.JdbcTransactionObjectSupport  - JDBC 3.0 Savepoint class is available2010-11-17 09:25:55,658 [catalina-exec-74] WARN org.hibernate.util.JDBCExceptionReporter  - SQL Error: 0, SQLState: null
……
ession for transaction; nested exception is org.hibernate.exception.GenericJDBCException: Cannot open connection
at org.springframework.util.ReflectionUtils.handleReflectionException(ReflectionUtils.java:58)
at com.lottery.common.action.CommonAction.init(CommonAction.java:110)
2010-11-17 09:28:08,227 [main] INFO org.springframework.web.filter.CharacterEncodingFilter – Initializing filter ‘CharacterEncodingFilter

使用sed命令如下

#将11-17的09:25:55 和09:28:08 之间的日志截取出来
sed -n '/2010-11-17 09:25:55/,/2010-11-17 09:25:55/p' logfile
#正则表达式
sed -n '/2010-11-17 09:[0-9][0-9]:[0-9][0-9]/,/2010-11-17 16:[0-9][0-9]:[0-9][0-9]/p' logfile