FileBeat 相比 Logstash,更加轻量化。
在任何环境下,应用程序都有停机的可能性。 Filebeat 读取并转发日志行,如果中断,则会记住所有事件恢复联机状态时所在位置。
Filebeat带有内部模块(auditd,Apache,Nginx,System和MySQL),可通过一个指定命令来简化通用日志格式的收集,解析和可视化。
FileBeat 不会让你的管道超负荷。FileBeat 如果是向 Logstash 传输数据,当 Logstash 忙于处理数据,会通知 FileBeat 放慢读取速度。一旦拥塞得到解决,FileBeat 将恢复到原来的速度并继续传播。
一、部署Filebeat
确认日志json格式,后续会用日志做统计
先访问web服务器,以产生一定的日志,然后确认是json格式,因为下面会使用到
查看web日志
安装配置Filebeat
如果您之前就没用logstach,可以直接安装即可。
二、配置filebeat收集系统日志
启动filebeat服务并验证本地文件是否有数据
后面可以将filebeat收集的日志传输到logsearch进行分类过滤,或者写入redis进行缓存,解决由于logsearch宕机造成的数据丢失,请根据您业务的情况,进行调整即可。