关于日志切割（以nginx为例）

前段时间，李小峰跟我说他哥们的一台web服务器受到DDos攻击，由于没有禁用错误日志，导致日志文件过大，有的达到TB级，导致错误日志暴涨，最后/分区暴满。

根分区满一般会产生什么异常情况呢？

1.  数据无法写入

2. 开机启动系统引导失败

3. 服务自动停止

4.....欢迎添加....

 

于是，那么，我们该怎样来防止这些情况的发生呢？

首先，我想了几个基本方案

1. 划分一个数据区或日志区，将所有应用的日志指定到这个位置

2. 搭建日志服务器，用专门的机器用来存储日志       //这里是错的，只能做系统日志服务器，与这里无关。

3.过滤掉一些不需要的日志（如ico找不到，js找不到，img找不到之类的）

4.看能否定制同样的错误连续出现次1000次则不再记录

5.利用logrotate日志管理工具，进行日志切割

5......欢迎提供好的方案....

 

在这里，主要介绍一个logrotate日志管理工具。在UBUNTU下使用apt安装nginx后，在/etc/logrotate.d/下会自动生成一下nginx的文件，里面写有一些枝叶，可以使得nginx日志会被自动管理。

什么是logrotate?

 logrotate 程序是一个日志文件管理工具。用来把旧的日志文件删除，并创建新的日志文件，我们把它叫做“转储”。我们可以根据日志文件的大小，也可以根据其天数来转储，这个过程一般通过 cron 程序来执行。logrotate 程序还可以用于压缩日志文件，以及发送日志到指定的E-mail 。

PS.最开始，我以为logrotate是一个deamo，可以通过监控日志的大小对文件进行转储，实际上，logrotate利用了cron才实现了定期对日志进行切割

cron执行的脚本的路径：/etc/cron.daily/logrotate

 

主配置文件：/etc/logrotate.conf

各个应用的配置文件：/etc/logrotate.d/*

定期执行(计划任务)：/etc/cron.daily/logrotate

 

logrotate 的配置文件是 /etc/logrotate.conf。主要参数如下表：
compress  通过gzip 压缩转储以后的日志
nocompress 不需要压缩时，用这个参数
copytruncate  用于还在打开中的日志文件，把当前日志备份并截断
nocopytruncate  备份日志文件但是不截断
create mode owner group 转储文件，使用指定的文件模式创建新的日志文件
nocreate  不建立新的日志文件
delaycompress 和 compress 一起使用时，转储的日志文件到下一次转储时才压缩
nodelaycompress 覆盖 delaycompress 选项，转储同时压缩。
errors address  专储时的错误信息发送到指定的Email 地址
ifempty  即使是空文件也转储，这个是 logrotate 的缺省选项。
Notifempty 如果是空文件的话，不转储
mail address  把转储的日志文件发送到指定的E-mail 地址
nomail  转储时不发送日志文件
olddir directory  转储后的日志文件放入指定的目录，必须和当前日志文件在同一个文件系统
noolddir  转储后的日志文件和当前日志文件放在同一个目录下
prerotate/endscript 在转储以前需要执行的命令可以放入这个对，这两个关键字必须单独成行
postrotate/endscript 在转储以后需要执行的命令可以放入这个对，这两个关键字必须单独成行
daily  指定转储周期为每天
weekly  指定转储周期为每周
monthly  指定转储周期为每月
rotate count  指定日志文件删除之前转储的次数，0 指没有备份，5 指保留5 个备份
tabootext [+] list 让logrotate 不转储指定扩展名的文件，缺省的扩展名是：.rpm-orig, .rpmsave, v, 和 ~
size size 当日志文件到达指定的大小时才转储，Size 可以指定 bytes (缺省)以及KB (sizek)或者MB (sizem).

更多详细配置，可查看手册：man logrotate

  

以管理Nginx日志为例，如果日志大小大于100M时，就转储。最多保存10个文件。

1、添加文件/etc/logrotate.d/nginx，内容如下:

/home/wwwlogs/*.log {      

       rotate 10

       size      

       compress      

       monthly      

       missingok      

       notifempty      

       sharedscripts      

       postrotate          

       /usr/local/nginx/sbin/nginx -s reload > /dev/null 2>/dev/null || true      

       endscript  

}  

 

2、测试是否成功

    sudo /usr/sbin/logrotate -f /etc/logrotate.conf  

检查一下nginx日志目录，应该生成了压缩文件，如果没有生成，可能是因为日志文件是空的，先访问一下网站，只要日志文件不为空就可以了。其他的功能，如按天、周、月进行转储，可以通过添加计划任务来完成。

logrotate命令
logrotate [-vf] logfile
-v 显示模式
-f 强制执行rotate（强制的情况下，大小不满足要求，也会生成）

 

3、logrotate.conf文件解析（/etc/logrotate.conf）

# see "man logrotate" for details
    # rotate log files weekly
    weekly
    # keep 4 weeks worth of backlogs
    rotate 4
# send errors to root
    errors root
    # create new (empty) log files after rotating old ones
    create
    # uncomment this if you want your log files compressed
    #compress
    1
# rpm packages drop log rotation information into this directory
    include /etc/logrotate.d      #include 选项十分重要，一些应用把日志转储参数存放在 /etc/logrotate.d (如apache,linuxconf,samba,cron,syslog)

    # no packages own lastlog or wtmp --we'll rotate them here
    /var/log/wtmp {
    monthly
    create 0664 root utmp
    rotate 1
    }
/var/log/lastlog {
    monthly
    rotate 1
    }
# system-specific logs may be configured here

上面的信息放在文件logrotate中，它位于目录/etc/cron.daily中，由/etc/crontab配置起来由cron程序执行。

 

4、logrotate 的执行

     logrotate 的运行分为三步：
     判断系统的日志文件，建立转储计划以及参数，通过cron daemon 运行

下面的代码是 red hat linux 缺省的crontab 来每天运行logrotate。

#vim /etc/cron.daily/logrotate
#! /bin/sh
/usr/sbin/logrotate /etc/logrotate.conf

上面的信息保存在文件logrotate中，它其实是一个脚本文件，位于/etc/cron.daily目录里。

/etc/cron.daily中的所有配置文件是每天都要由cron执行的程序的配置文件。它们都由系统管理员维护的/etc/crontab设置并执行。

 

5、其他需要注意的问题
a. 尽管花括号的开头可以和其他文本放在同一行上，但是结尾的花括号必须单独成行。

b. 当 /etc/logrotate.conf 读入文件时，include 指定的文件中的转储参数将覆盖缺省的参数。

c. 使用 prerotate 和 postrotate 选项
下面的例子是典型的脚本 /etc/logrotate.d/syslog，这个脚本只是对 /var/log/messages 有效。

d. /var/log/messages 不能产生的原因：
这种情况很少见，但是如果你把/etc/services 中的 514/UDP 端口关掉的话，这个文件就不能产生了

e. 如果产生文件依旧入重命名后的文件里面写的问题，那就考虑有没有重启程序，程序在运行期间是根据inode号往文件中写数据的。

 

/var/log/messages
{ 
prerotate   #转储前要做的工作
/usr/bin/chattr -a /var/log/messages
endscript
postrotate   # 转储后做的工作
/usr/bin/kill -HUP syslogd
/usr/bin/chattr +a /var/log/messages
endscript
}

 

 

后续

nginx日志格式

cron的使用

系统日志服务器部署