logstash+grok+json+elasticsearch解析复杂日志数据(二)

最新推荐文章于 2024-07-02 16:31:02 发布

cuixuange

最新推荐文章于 2024-07-02 16:31:02 发布

阅读量9.2k

点赞数 2

分类专栏： ELK Stack 文章标签： logstash grok json elasticsearch kibana

本文链接：https://blog.csdn.net/u014297722/article/details/52862494

版权

本文探讨了logstash在处理实时数据时的配置，包括启动位置选项和日志数据重复问题。文章指出，logstash的默认设置可能导致数据重复读取，需要通过删除elasticsearch索引来避免。此外，还讲解了elasticsearch中date类型的处理，以及kibana显示时间与UTC的差异。提出了调整logstash过滤器线程的方法，并分析了可能遇到的错误。最后分享了kibana仪表盘的简单制作及解决时区问题的相关资源。

摘要由CSDN通过智能技术生成

接着上面一篇来说，这篇主要介绍logstash处理实时数据问题，日志数据更新时，logstash处理方式是默认每15s检查一次文件夹，每5秒检查一次文件，这些参数可以改变的。遇到当处理较多批次数据时，logstash出现卡死状态的原因，我目前猜测是输入文件较多logstash处理很快，而输出插件input elasticsearch这个插件线程限制，导致的死锁问题，后面详细说。最后展示一下kibana日志数据时区从UTC改成显示北京时间的几个方法，最后展示一下仪表盘效果。

先上logstsh中配置文件代码：

<span style="font-size:14px;"><span style="font-family:SimSun;font-size:14px;">input { 
  file{
    path => ["/home/cuixuange/Public/elk/test_log/*.log","/home/cuixuange/Public/elk/test_log/logs/*"]
    start_position=>"beginning"

     discover_interval => 15
     stat_interval => 1
     sincedb_write_interval => 15
   } 
}

filter{

  grok{
    match=>{ "message" => "(?m)%{DATA:timestamp}  \[%{DATA:ip}\] . \[%{DATA:type}\] %{GREEDYDATA:log_json}"  
           }
  }
  json {
        source => "log_json"
        target => "log_json_content"
        remove_field=>["logjson"]
  }
 # json {
 #       source => "trace"
 #       target => "trace_content"
 #       remove_field=>["trace"]
 # }

  date {
    match => [ "timestamp", "yyyy-MM-dd HH:mm:ss" ]
    locale => "en"
    timezone=>"+00:00"
  }


}

output {
   if[timestamp]=~/^\d{4}-\d{2}-\d{2}/{
     elasticsearch {
         host => "192.168.172.128"
         index => "logstash-test-%{+yyyy.MM.dd}"   #logstash-* to find
         workers=>5
         template_overwrite =>true
     }
  }
   #stdout{codec=>json_lines}
}



</span></span>

简单解释解释意思：