Filebeat+Kafka+Logstash+ElasticSearch+Kibana搭建完整版

本文探讨了为何选择Filebeat而非Logstash收集日志的原因。Filebeat作为Logstash-forwarder的继任者,由Elasticsearch公司使用Go语言开发,相较于Logstash具有更低的资源消耗。文中还提到了Kafka在日志处理流程中的作用。
摘要由CSDN通过智能技术生成

搭建过程请参考 https://www.cnblogs.com/jiashengmei/p/8857053.html
该篇博文写的很清楚,我这里只说说为什么不直接用logstash搜集日志,而用filebeat
因为logstash是jvm跑的,资源消耗比较大,所以后来作者又用golang写了一个功能较少但是资源消耗也小的轻量级的logstash-forwarder。不过作者只是一个人,加入http://elastic.co公司以后,因为es公司本身还收购了另一个开源项目packetbeat,而这个项目专门就是用golang的,有整个团队,所以es公司干脆把logstash-forwarder的开发工作也合并到同一个golang团队来搞,于是新的项目就叫filebeat了。
加上kafka是为了削峰填谷,避免日志太多后面处理不过来。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值