前段时间,李小峰跟我说他哥们的一台web服务器受到DDos攻击,由于没有禁用错误日志,导致日志文件过大,有的达到TB级,导致错误日志暴涨,最后/分区暴满。
根分区满一般会产生什么异常情况呢?
1. 数据无法写入
2. 开机启动系统引导失败
3. 服务自动停止
4.....欢迎添加....
于是,那么,我们该怎样来防止这些情况的发生呢?
首先,我想了几个基本方案
1. 划分一个数据区或日志区,将所有应用的日志指定到这个位置
2. 搭建日志服务器,用专门的机器用来存储日志 //这里是错的,只能做系统日志服务器,与这里无关。
3.过滤掉一些不需要的日志(如ico找不到,js找不到,img找不到之类的)
4.看能否定制同样的错误连续出现次1000次则不再记录
5.利用logrotate日志管理工具,进行日志切割
5......欢迎提供好的方案....
在这里,主要介绍一个logrotate日志管理工具。在UBUNTU下使用apt安装nginx后,在/etc/logrotate.d/下会自动生成一下nginx的文件,里面写有一些枝叶,可以使得nginx日志会被自动管理。
什么是logrotate?
logrotate 程序是一个日志文件管理工具。用来把旧的日志文件删除,并创建新的日志文件,我们把它叫做“转储”。我们可以根据日志文件的大小,也可以根据其天数来转储,这个过程一般通过 cron 程序来执行。logrotate 程序还可以用于压缩日志文件,以及发送日志到指定的E-mail 。
PS.最开始,我以为logrotate是一个deamo,可以通过监控日志的大小对文件进行转储,实际上,logrotate利用了cron才实现了定期对日志进行切割
cron执行的脚本的路径:/etc/cron.daily/logrotate
主配置文件:/etc/logrotate.conf
各个应用的配置文件:/etc/logrotate.d/*
定期执行(计划任务):/etc/cron.daily/logrotate
logrotate 的配置文件是 /etc/logrotate.conf。主要参数如下表:
compress 通过gzip 压缩转储以后的日志
nocompress 不需要压缩时,用这个参数
copytruncate 用于还在打开中的日志文件,把当前日志备份并截断
nocopytruncate 备份日志文件但是不截断
create mode owner group 转储文件,使用指定的文件模式创建新的日志文件
nocreate 不建立新的日志文件
delaycompress 和 compress 一起使用时,转储的日志文件到下一次转储时才压缩
nodelaycompress 覆盖 delaycompress 选项,转储同时压缩。
errors address 专储时的错误信息发送到指定的Email 地址
ifempty 即使是空文件也转储,这个是 logrotate 的缺省选项。
Notifempty 如果是空文件的话,不转储
mail address 把转储的日志文件发送到指定的E-mail 地址
nomail 转储时不发送日志文件
olddir directory 转储后的日志文件放入指定的目录,必须和当前日志文件在同一个文件系统
noolddir 转储后的日志文件和当前日志文件放在同一个目录下
prerotate/endscript 在转储以前需要执行的命令可以放入这个对,这两个关键字必须单独成行
postrotate/endscript 在转储以后需要执行的命令可以放入这个对,这两个关键字必须单独成行
daily 指定转储周期为每天
weekly 指定转储周期为每周
monthly 指定转储周期为每月
rotate count 指定日志文件删除之前转储的次数,0 指没有备份,5 指保留5 个备份
tabootext [+] list 让logrotate 不转储指定扩展名的文件,缺省的扩展名是:.rpm-orig, .rpmsave, v, 和 ~
size size 当日志文件到达指定的大小时才转储,Size 可以指定 bytes (缺省)以及KB (sizek)或者MB (sizem).
更多详细配置,可查看手册:man logrotate
以管理Nginx日志为例,如果日志大小大于100M时,就转储。最多保存10个文件。
1、添加文件/etc/logrotate.d/nginx,内容如下:
/home/wwwlogs/*.log {
rotate 10
size
compress
monthly
missingok
notifempty
sharedscripts
postrotate
/usr/local/nginx/sbin/nginx -s reload > /dev/null 2>/dev/null || true
endscript
}
2、测试是否成功
sudo /usr/sbin/logrotate -f /etc/logrotate.conf
检查一下nginx日志目录,应该生成了压缩文件,如果没有生成,可能是因为日志文件是空的,先访问一下网站,只要日志文件不为空就可以了。其他的功能,如按天、周、月进行转储,可以通过添加计划任务来完成。
logrotate命令
logrotate [-vf] logfile
-v 显示模式
-f 强制执行rotate(强制的情况下,大小不满足要求,也会生成)
3、logrotate.conf文件解析(/etc/logrotate.conf)
# see "man logrotate" for details
# rotate log files weekly
weekly
# keep 4 weeks worth of backlogs
rotate 4
# send errors to root
errors root
# create new (empty) log files after rotating old ones
create
# uncomment this if you want your log files compressed
#compress
1
# rpm packages drop log rotation information into this directory
include /etc/logrotate.d #include 选项十分重要,一些应用把日志转储参数存放在 /etc/logrotate.d (如apache,linuxconf,samba,cron,syslog)
# no packages own lastlog or wtmp --we'll rotate them here
/var/log/wtmp {
monthly
create 0664 root utmp
rotate 1
}
/var/log/lastlog {
monthly
rotate 1
}
# system-specific logs may be configured here
上面的信息放在文件logrotate中,它位于目录/etc/cron.daily中,由/etc/crontab配置起来由cron程序执行。
4、logrotate 的执行
logrotate 的运行分为三步:
判断系统的日志文件,建立转储计划以及参数,通过cron daemon 运行
下面的代码是 red hat linux 缺省的crontab 来每天运行logrotate。
#vim /etc/cron.daily/logrotate
#! /bin/sh
/usr/sbin/logrotate /etc/logrotate.conf
上面的信息保存在文件logrotate中,它其实是一个脚本文件,位于/etc/cron.daily目录里。
/etc/cron.daily中的所有配置文件是每天都要由cron执行的程序的配置文件。它们都由系统管理员维护的/etc/crontab设置并执行。
5、其他需要注意的问题
a. 尽管花括号的开头可以和其他文本放在同一行上,但是结尾的花括号必须单独成行。
b. 当 /etc/logrotate.conf 读入文件时,include 指定的文件中的转储参数将覆盖缺省的参数。
c. 使用 prerotate 和 postrotate 选项
下面的例子是典型的脚本 /etc/logrotate.d/syslog,这个脚本只是对 /var/log/messages 有效。
d. /var/log/messages 不能产生的原因:
这种情况很少见,但是如果你把/etc/services 中的 514/UDP 端口关掉的话,这个文件就不能产生了
e. 如果产生文件依旧入重命名后的文件里面写的问题,那就考虑有没有重启程序,程序在运行期间是根据inode号往文件中写数据的。
/var/log/messages
{
prerotate #转储前要做的工作
/usr/bin/chattr -a /var/log/messages
endscript
postrotate # 转储后做的工作
/usr/bin/kill -HUP syslogd
/usr/bin/chattr +a /var/log/messages
endscript
}
后续
nginx日志格式
cron的使用
系统日志服务器部署