elk替代mysql_ELKstack 之 Filebeat替代Logstash收集日志 | 逗哥-架构师之路

本文介绍了如何使用Filebeat作为轻量级日志收集工具替代Logstash。Filebeat具备在日志中断后恢复读取的能力,并能与Logstash配合避免管道过载。文中详细阐述了Filebeat的部署过程,包括确认日志为JSON格式、安装配置Filebeat以及设置收集系统日志。此外,还提到可以根据业务需求将Filebeat收集的日志发送到Logsearch或Redis,确保日志数据的完整性和可靠性。
摘要由CSDN通过智能技术生成

4ce629bf8a2aa87b25fedd94fb993388.png

938bbaf23972e03b6cb84061c1e6ee7f.gif

FileBeat 相比 Logstash,更加轻量化。

在任何环境下,应用程序都有停机的可能性。 Filebeat 读取并转发日志行,如果中断,则会记住所有事件恢复联机状态时所在位置。

Filebeat带有内部模块(auditd,Apache,Nginx,System和MySQL),可通过一个指定命令来简化通用日志格式的收集,解析和可视化。

FileBeat 不会让你的管道超负荷。FileBeat 如果是向 Logstash 传输数据,当 Logstash 忙于处理数据,会通知 FileBeat 放慢读取速度。一旦拥塞得到解决,FileBeat 将恢复到原来的速度并继续传播。

一、部署Filebeat

确认日志json格式,后续会用日志做统计

先访问web服务器,以产生一定的日志,然后确认是json格式,因为下面会使用到

查看web日志

938bbaf23972e03b6cb84061c1e6ee7f.gif

安装配置Filebeat

如果您之前就没用logstach,可以直接安装即可。

二、配置filebeat收集系统日志

启动filebeat服务并验证本地文件是否有数据

938bbaf23972e03b6cb84061c1e6ee7f.gif

后面可以将filebeat收集的日志传输到logsearch进行分类过滤,或者写入redis进行缓存,解决由于logsearch宕机造成的数据丢失,请根据您业务的情况,进行调整即可。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值