logstash

一、概念

1. logstash就是一根具备实时数据传输能力的管道，负责将数据信息从管道的输入端传输到管道的输出端

2. Logstash使用管道方式进行日志的搜集处理和输出。有点类似*NIX系统的管道命令 xxx | ccc | ddd，xxx执行完了会执行ccc，然后执行ddd

3. 与此同时这根管道还可以让你根据自己的需求在中间加上滤网，Logstash提供里很多功能强大的滤网以满足你的各种应用场景

二、事件（logstash将数据流中等每一条数据称之为一个event）

处理流水线有三个主要角色完成：inputs –> filters –> outputs：

1. inpust：必须，负责产生事件（Inputs generate events），常用：File、syslog、redis、beats（如：Filebeats）

    file
        1）path                  输入源的路径，可以是单个文件或者多个文件，还可以用正则表达式
        2）type                  自己可以用来区分这个是什么日志，用来标识
        3）discover_interval logstash 每隔多久去检查一次被监听的 path 下是否有新文件。默认值是 15 秒。
        4）exclude               不想被监听的文件可以排除出去，这里跟 path 一样支持 glob 展开
        5）stat_interval     logstash 每隔多久检查一次被监听文件状态（是否有更新），默认是 1 秒。
        6）start_position        logstash 从什么位置开始读取文件数据，默认是结束位置


2. filters：可选，负责数据处理与转换（filters modify them），常用：grok、mutate、drop、clone、geoip

    1) grok     Grok 是 Logstash 最重要的插件。你可以在 grok 里预定义好命名正则表达式，在稍后(grok参数或者其他正则表达式里)引用它

    2) geoip        GeoIP 库可以根据 IP 地址提供对应的地域信息，包括国别，省市，经纬度等，对于可视化地图和区域统计非常有用

3. outpus：必须，负责数据输出（outputs ship them elsewhere），常用：elasticsearch、file、graphite、statsd

    elasticsearch
        1) index     供kibana页面的manager做索引用，关联上

参考网址

1. logstash 常见插件配置说明

2. Logstash 最佳实践

注：文章是经过参考其他的文章然后自己整理出来的，有可能是小部分参考，也有可能是大部分参考，但绝对不是直接转载，觉得侵权了我会删，我只是把这个用于自己的笔记，顺便整理下知识的同时，能帮到一部分人。
ps : 有错误的还望各位大佬指正,小弟不胜感激