beats 与 logstash 的关系

Beats是一个轻量级数据采集器,优化了Logstash的资源消耗,专注于日志收集。Logstash则侧重于数据转换和格式化处理,将非结构化的日志数据转化为适合Elasticsearch的结构。完整的流程通常是Beats收集日志,通过Logstash进行数据适配,最终存入Elasticsearch进行检索。Logstash内部包含数据流入、处理和流出三个阶段,可进行数据处理、格式化、丰富或删除等操作。
摘要由CSDN通过智能技术生成

Beats 是一个轻量型数据采集器,能够方便的与 Logstash 和 ElasticSearch 配合使用。

beats 并不是替换logstash的,beats 是用来优化logstash 的,logstash 的消耗性能比较多,如果只是单纯为了收集日志,使用logstash 就有点大材小用了,另外也有点浪费资源,而beats 是轻量级的用来收集日志的。

logstash 更加关注一件事,那就是数据转换,格式化等处理工作。

比如:日志数据是一行一行的非格式化的数据,想要存在elasticsearch 就要一定的结构。logstash 就可以做这件事情。

beats 是可以直接对接elasticsearch 的,只不过数据不能适配,只能做一些简单的处理, logstash 对接es ,也可以对接其他。

比较完整的是: beats dui logstash 进行数据适配,然后堆到es 做检索。
在这里插入图片描述

开源的数据收集引擎、具有实时管道功能,可以动态的将来自不同数据源的数据统一起来,并将数据标准化到所选择的目的地。
开源的服务器端数据处理管道,可以同时从多个数据源中获取数据,并进行转化换,然后将其发送到规定位置进行存储。(一般规定的位置选择ElasticSearch)

Logstash 的关键点:

inputs: 必须,负责生产
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值