前言
最近学习了一下logstash,简要来宏观阐述一下.
核心
定义
是一款强大的数据处理工具,它可以实现数据传输,格式处理,格式化输出,还有强大的插件功能,常用于日志处理,
是一款开源的数据搜索引擎,具备实时数据传输能力.可以统一过滤来自不同源的数据,并按照开发者的制定规范输出到目的地.
组成结构
通过管道进行运作,管道有两个必要的元素,输入和输出,还有一个元素:过滤器
输入插件从数据源获取数据,过滤器插件根据用户指定的数据格式修改数据,输出插件则将数据写入到目的地
- input 数据输入端,可以接收来自任何地方的源数据
- Filter 数据中转层,主要进行格式处理,数据类型转换、数据过滤、字段添加,修改等,常用的过滤器如下
- output 是logstash工作的最后一个阶段,负责将数据输出到指定位置,兼容大多数应用
总结input { # 从文件读取日志信息 file { path => "/var/log/error.log" type => "error" start_position => "beginning" } } # filter { # # } output { # 输出到 elasticsearch elasticsearch { hosts => ["ip:端口号"] index => "error-%{+YYYY.MM.dd}" } }
具体详细的配置后面再详细介绍.