日志清理的最佳实践(按目录使用率清理)

背景

生产上的日志以前都是按日期清理，如果由于存储资源比较紧张，在交易量比较大的时候，会遇到还没到定时任务清理日志时，使用率已经报警了。就需要手动去清理日志，由于微服务架构，服务器过多，需要逐台清理，颇有不便。希望在有限的资源下，尽可能保存多的日志。，同时避免手动清理日志方案。

解决思路

通过df命令，查看日志所在目录的使用率在达到报警前清理，尽可能保存多点日志。步骤如下：

1.通过df查看日志所在目录空间使用率，超过一定值触发清理

2.通过find在指定目录，按照从前到后的顺序，清理历史日志，小于阈值时，停止清理，尽可能保留多点的日志

3.保存删除的日志名称和df的值

代码

脚本如下：

#!/bash/bin
ibsDir=
delLog=$[ibsDir}del.log
diskUsedMax=80
dayCount=30
diskUsed=`df|awk '{if($7 == "/was") print $4}'|awk -F "%" '{print $1}'`

_date=`date "+%Y-%m-%d %H:%M:%S"`

if [  ! -d "${delLog}" ];then
    touch ${delLog}
    chmod 777 ${delLog}
fi

echo "--------begin ${_date}--------">>${delLog}
echo "The following documents satisfy the conditions in ${ibsDir} will clean">>${delLog}

while [ diskUsed -gt ${diskUsedMax} -a ${dayCount} -gt 0 ]
do
    ibsLogs=`find ${ibsDir} -name "check*" -type f -mtime +$((dayCount+360))`
    for ibsLog in ${ibsLogs}
    do
        echo "clean ibs log:${ibsLog}">>${delLog}
        rm -f ${ibsLog}
    done
    let dayCount-=1
    diskUsed=`df|awk '{if($7 == "/was") print $4}'|awk -F "%" '{print $1}'`
done