过完十一假期来发现,节前部署的十台服务器磁盘都占满了,导致各节点的服务都停止了。吃一堑,长一智。于是今天写个shell脚本定期清空日志文件,这里不要用删除,以免影响到正在启动的服务。
1、确定大日志文件的路径
用find 指令找一下就可以定位到需要清理的日志,如下查找的 / 目录下大于50M的文件
find . -type f -size +50M
2、清空大日志文件脚本
tree 看一下大日志路径结构:
需要从logs/eie_info/AnhuiDetailSpider/,故这里用了三个循环嵌套shell脚本实现,代码如下:
#!/bin/bash
##pwd /var/scrapyd
cd logs/
#cd Einfo
for i in `ls ./`
do
echo "$i"
cd $i
#cd Einfo/beijingspider
for j in `ls ./`
do
cd $j
echo "$j"
for z in `ls ./`
do
> $z
done
cd ..
done
cd ..
done
exit 0
用chmod 777给脚本添加权限后,执行该脚本,大日志文件瞬间变成了0kb。
3、定期执行
Linux中通常采用的crontab来定期执行任务,没有安装的话,用yum install crontab安装下。crontab -e添加一下定时任务,这里我选择的是每天早上6点钟开始执行任务,>/dev/null 2>&1表示的是屏蔽掉终端输出。
PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin
*/5 * * * * /usr/sbin/ntpdate 10.101.3.100
* * * * * /usr/local/gse/agent/bin/gsectl watch
* 6 * * */var/scrapyd/removeLogs.sh>/dev/null 2>&1
先关闭,再启动下crontab服务,这样start-detail.sh就可以定期执行了。
/sbin/service crond start //启动服务
/sbin/service crond stop //关闭服务
看定时任务是否执行,可以用tail -f /var/log/cron.log日志文件就非常清楚。