问题:/var/log/message下收集到多余storm日志占用过多磁盘空间
原因分析:
1./var/log/messages日志作用
https://www.cnblogs.com/zhangdajin/p/13431423.html
/var/log/messages 存放的是系统的日志信息,它记录了各种事件,基本上什么应用都能往里写日志,在做故障诊断时可以首先查看该文件内容
实际应用场景中,分配到/var下的磁盘空间有限,日志文件容易撑爆整个var目录
此时需要修改配置文件 /etc/rsyslog.conf
找到关于 messages的配置信息:
*.info;mail.none;authpriv.none;cron.none /var/log/messages
将其改为
*.none /var/log/messages (不写日志)
或者只写error日志
*.error;mail.none;authpriv.none;cron.none /var/log/messages
保存后,重启 rsyslog
systemctl restart rsyslog
日志信息各字段含义:
- 事件的日期和时间
- 事件的来源主机
- 产生这个事件的程序[进程号]
- 实际的日志信息
2.可知/var/log/messages用于记录系统日志,storm业务日志被系统日志收集,导致系统日志过大。
3.排查storm日志配置文件/tools/apache-storm-1.2.3/log4j2/cluster.xml发现<Syslog>,此配置用于输出日志到系统收集服务,端口号为514,方式为UDP;
4.进一步排查系统日志配置文件/etc/rsyslog.conf,发现部分机器/etc/rsyslog.conf文件开放了UDP协议514端口,导致收集到storm业务日志。
解决方法:
1.修改storm日志配置文件/tools/apache-storm-1.2.3/log4j2/cluster.xml,去掉<Syslog>相关配置。
2.修改系统日志配置文件/etc/rsyslog.conf,关闭UDP协议或修改端口号。