智象运维 | ELK中logstash收集的日志写入redis中

智象运维干货又来啦！这次讲的是“ELK中logstash收集的日志写入redis中”。ELK中我们通常是使用logstash收集到日志然后直接给到ES进行存储，但是在大量日志的场景下，当存储已经跟不上收集的速度是我们需要使用队列来进行顺序存储，这时就可以用到我们redis了。

 

修改/etc/logstash/conf.d/logstash.conf

input {
  beats {
    port => 5044
    codec => plain {
          charset => "UTF-8"
    }
  }
}

filter {
  grok {
    match => ["message", '%{IP:Client} - - \[%{HTTPDATE:timestamp}\] \"(%{WORD:method} %{NOTSPACE:request} HTTP/%{NUMBER:httpversion})\" %{NUMBER:response} (?:%{NUMBER:bytes}|-) %{QS:referrer} %{QS:agent}']
  }
  if "beats_input_codec_plain_applied" in [tags] {