Web日志部署与管理

 

一、        WEB 日志部署

1．apache的日志文件是单个的，很容易达到2G的限制，很容易把/var卷填满，

有必要对它进行自动切分，然后就可以运用自动处理程序进行压缩等操作。

要对apache的日志文件进行处理，必须要停止apache,否则，会丢失一些日志，

进行过这些操作的同志肯定，肯定可以体会到其棘手之处。

在网上找到一个专门处理apache日志的程序cronolog，在apache中设置把日志

管道给该程序，让该程序进行必要的处理。在设置文件里面修改:

CustomLog "|/usr/sbin/cronolog /logs/%Y/%m/anheng_%Y%m%d.log" w3c

这样就会按月自动开目录，每天一个日志文件了。

CustomLog "|/usr/local/sbin/cronolog /var/log/baidu/baidu_access_log.%Y%m%d" combined

CustomLog "|/usr/local/sbin/cronolog /var/log/fucai/fucai_access_log.%Y%m%d" combined

 

这里要先安装cronolog这个软件，默认安装就可以，装完了在APAche 配置文件中加以上条目，如果是虚拟机要加到虚拟机中。

 

 

2，生成的日志每天轮旬，一天一个，以当天的日期命名，用/home/xiaolong目录下的 ftp.sh 脚本每天定时上传至日志分析服务器也就是webtreds (现在是192.168.0.9),，定时上传可以用/etc/crontab 来做。

具体脚本如下：

ftp.sh

 

host=192.168.0.9

RQ=`date --date="1 days ago" +%Y%m%d`

filename=baidu_access_log.$RQ     #baidu_access_log.%Y%m%d

UserName=baidu        #ftp user name

Passwd=huifeideZHU           #ftp user password

cd /var/log/baidu

ftp -i -n<<!

open $host

user $UserName $Passwd

prompt

cd web1    //(这里是192.168.5.32的web 它上传到web1下)

put $filename

bye

!

 

 

 

 

二日志文件的管理

Web服务器的空间比较小，一定要及时清除，可以写脚本定期删除已经上传完的脚本。

find /var/log/baidu -type f -mtime +7 -exec rm {} /;

这条命令删除7天前的所有web日志文件, 可以加到crontab里定期执行。

所有日志都要保留，但是日志服务器的空间有限，所以每隔一段时间要备份一次，如俩个月，然后删掉备份完的文件，备份要先经过压缩，（ winrar 可以压缩到原来的 20 分之一），一个月的打成一个包，命名为“年月服务器 .log ”如 200606a .log 是 2006 年 6 月第一台 web 服务器的日志打包。打包日志要刻