Beats 是一个轻量型数据采集器,能够方便的与 Logstash 和 ElasticSearch 配合使用。
beats 并不是替换logstash的,beats 是用来优化logstash 的,logstash 的消耗性能比较多,如果只是单纯为了收集日志,使用logstash 就有点大材小用了,另外也有点浪费资源,而beats 是轻量级的用来收集日志的。
logstash 更加关注一件事,那就是数据转换,格式化等处理工作。
比如:日志数据是一行一行的非格式化的数据,想要存在elasticsearch 就要一定的结构。logstash 就可以做这件事情。
beats 是可以直接对接elasticsearch 的,只不过数据不能适配,只能做一些简单的处理, logstash 对接es ,也可以对接其他。
比较完整的是: beats dui logstash 进行数据适配,然后堆到es 做检索。
开源的数据收集引擎、具有实时管道功能,可以动态的将来自不同数据源的数据统一起来,并将数据标准化到所选择的目的地。
开源的服务器端数据处理管道,可以同时从多个数据源中获取数据,并进行转化换,然后将其发送到规定位置进行存储。(一般规定的位置选择ElasticSearch)
Logstash 的关键点:
inputs: 必须,负责生产