问题描述:Hadoop+Storm集群,运行一段时间ZooKeeper等关键进程自动停止运行,经检测是系统磁盘不足
系统磁盘100%,如下:
利用如下命令查看文件及其大小,找罪魁祸首:
find / -size +100M -exec ls -lh {} \;//查找大文件
查找大文件后发现,空间均被ZooKeeper产生的log占用,后发现在 /var/lib/zookeeper/version-2 目录下有一些大型文件*.log,此目录是在ZooKeeper的zoo.cfg中配置的dataDir。
现以以下方式对log文件进行定期清理。
1、首先创建执行文件:clean_zook_log.sh,代码如下
#!/bin/bash
#只保留最新的10个log与snapshot