logstash简介，下载和安装

1.简介：

集中、转换和存储数据

Logstash 是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的“存储库”中。

 

2.处理流程

input---> fileter ---> output

input：-（可从file，redis，beats，kafka等拿数据）

filter：-（包含Grok,Date,Mutate,Drop等步骤）

output：-(stdout,标准输出)

3.input、output配置

eg：

input {file {path = > "/tmp/aaa.log"}}---指定输入类型为文件，路径为tmp下的aaa.log

output { stdout {codec = > rubydebug}}---标准输出，编码为rubydebug

4.filter

（1）Grok：基于正则提供了丰富的可重用模式（语法），可将非结构化数据转化为结构化数据（JSON）

（2）Date：将字符串类型的时间字段转化为时间戳类型

（3）Mutate: 对结构化后的数据进行增删改查操作，

5.下载安装

（1）下载地址：https://www.elastic.co/cn/downloads/logstash

（2）安装步骤：解压，准备配置文件，执行命令

在logstash>bin

1、目录下创建：logstash.conf

2、输入内容:

input {
    stdin{
    }
} 
 
output {
    stdout{
    }
}

3.输入命令

logstash -f logstash.conf