Logstash -filebeat 6.5 多行日志合并

最新推荐文章于 2022-11-29 11:05:19 发布

Geroge Ren

最新推荐文章于 2022-11-29 11:05:19 发布

阅读量1.5k

点赞数

分类专栏： ELK

本文链接：https://blog.csdn.net/weixin_42123737/article/details/106014866

版权

本文介绍了在日志多行显示导致查询不便的问题下，如何利用Logstash的filter插件multiline和Filebeat的配置解决日志合并。在Logstash 5以上版本，multiline插件需额外安装，并提供了在filter或input阶段配置的建议。重点讲解了Filebeat的配置选项，如`match_pattern`、`negate`、`backoff`和`flush_interval`，并给出不同设置组合的影响，最终通过调整Filebeat配置实现了日志的正确合并，确保查询数据的完整性和准确性。

摘要由CSDN通过智能技术生成

日志内容：

authenticatorClient:         <82fa722c1abd2ee6effd39ac954f3927>
 loginMode:                   <2>
 timestamp:                   <509110741>
 version:                     <48>
2020-05-09 11:07:41.200 |INFO | SENT: 
 status:                <30>
 authenticatorServer:   <1f555a3d244ba1eaab8030cb668f592b>
 version:               <48>

一条日志多行出现的情况下 logstash默认过滤分成多条传输

到es显示的时候就是几条日志对于日常查询分析带来不便

解决方法：

filter 插件的multiline 可以通过正则完美解决

Logstash 5 以上默认没有filter-multiline 插件了如要另行安装

# ./bin/logstash-plugin install logstash-filter-multiline

安装好后配置文件filter部分中增加如下内容

filter {
    ......
    multiline {
              pattern => "^%{TIMESTAMP_ISO8601} "  ## 已日期格式为开头的匹配
              negate => true                       ## 正则匹配成功
              what => "previous"                   ## 对下一个匹配出现前的