Hadoop、Strom集群实现日志自动清理

问题描述:Hadoop+Storm集群,运行一段时间ZooKeeper等关键进程自动停止运行,经检测是系统磁盘不足

系统磁盘100%,如下:
系统磁盘100%
利用如下命令查看文件及其大小,找罪魁祸首:

find / -size +100M -exec ls -lh {} \;//查找大文件

查找大文件后发现,空间均被ZooKeeper产生的log占用,后发现在 /var/lib/zookeeper/version-2 目录下有一些大型文件*.log,此目录是在ZooKeeper的zoo.cfg中配置的dataDir。

现以以下方式对log文件进行定期清理。

1、首先创建执行文件:clean_zook_log.sh,代码如下

#!/bin/bash
#只保留最新的10个log与snapshot
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值