logstash的基本使用

使用logstash输入 filebeat收集的日志 并解析字段 输出到es

filebeat_logstash.yml

filebeat.inputs:

filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: true
  reload.period: 10s # 对路径下的文件进行更改检查的周期

output.logstash:
  hosts: ["localhost:5044"]

logstash-filebeat.yml

input {
    beats {
        port => "5044"
    }
}
output {
    elasticsearch {
        hosts => [ "127.0.0.1:9200" ]
    }
}

#验证配置文件是否正确
bin/logstash -f logstash-filebeat.yml --config.test_and_exit

使用logstash输入 filebeat收集的日志 并解析字段 输出到es

其中 /data/logs/nginx/book.log 文件中的内容为json，logstash可直接将json 解析

 filebeat.yml

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /data/logs/nginx/book.log
output.logstash:
  hosts: ["localhost:5044"]

 logstash.yml

input {
    beats {
      port => "5044"
    }
}
filter {
  json {
     source => "message"
  }
  mutate{
    remove_field => ["message"]
  }
}
output {
    elasticsearch {
        hosts => [ "127.0.0.1:9200" ]
        index => "book-%{+YYYY.MM.dd}"
    }
}