1 flume
我们自己写的flume启动脚本flume.sh中,通过nohup启动,nohup日志输出到nohup.out。
该日志会一直增长。
修改:
nohup日志输出到 /dev/null
2 kafka
kafka的日志原来都是dailyrolling日志,日志按日滚动,不删除。系统异常的时候,1天就会输出天量日志。
我们自己写的kafka启动脚本kafka.sh中,也有flume启动脚本类似的问题。
修改:
改成rollingfileappender,限制日志大小为10M,历史日志保留10个。
nohup日志输出到 /dev/null
3 mongodb
mongodb的日志只有mongodb重启的时候才会备份旧日志文件,生成新的日志文件,日志文件不会删除。
解决办法,参见此帖子:
http://stackoverflow.com/questions/15287768/mongodb-customzieable-log-size-and-growth-strategy
修改:
新建mongolog.sh, 在该脚本中判断当前日志大小,超过10M,发SIGUSR1 消息,滚动生成新的日志文件。
再检查日志文件数量,超过5个则删除最老的。
crontab建立定时任务,每5分钟执行该脚本。
4 zookeeper
参考这个文件:
http://yangyoupeng-cn-fujitsu-com.iteye.com/blog/1922459
http://blog.csdn.net/xiaolang85/article/details/21184293
修改:
conf/log4j.properties,
zookeeper.root.logger=INFO,CONSOLE
改成
zookeeper.root.logger=WARN,ROLLINGFILE
另外,备份数改为5。
bin/zkEvn.sh
if [ "x${ZOO_LOG4J_PROP}" = "x" ]
then
ZOO_LOG4J_PROP="INFO,CONSOLE"
fi
改为
if [ "x${ZOO_LOG4J_PROP}" = "x" ]
then
ZOO_LOG4J_PROP="WARN,ROLLINGFILE"
fi
conf/zoo.cfg
去掉两个autopurge关联项的注释。autopurge.purgeInterval 设定为24。