ELK日志分析系统之使用multiline合并多行显示

---

一、前言

本博在 ELK日志分析系统之集成Filebeat 一文中，介绍了使用 Elasticsearch、Logstash、Kibana、Filebeat 来搭建 ELK 。但是搭建后发现输出的日志都是单行的，一条日志占多行的情况也是分开多行显示，显得非常凌乱。为此，我们引入 multiline 来实现合并多行为一行显示。

二、multiline 的使用

有多种方式实现多行合并显示，以下我们演示最常用的三种方法。

1.使用 logstash-codec-multiline 插件

该插件在 Logstash 下默认是已安装的，可通过命令查看：

./bin/logstash-plugin list

[root@localhost logstash-7.16.2]# ./bin/logstash-plugin list
logstash-codec-avro
logstash-codec-cef
logstash-codec-collectd
logstash-codec-dots
logstash-codec-edn
logstash-codec-edn_lines
logstash-codec-es_bulk
logstash-codec-fluent
logstash-codec-graphite
logstash-codec-json
logstash-codec-json_lines
logstash-codec-line
logstash-codec-msgpack
logstash-codec-multiline
...

修改 config/logstash-sample.conf，修改内容如下：

input {
    file {
        path => "/home/source/api/logs/*.out"
        type => "user_log"
        start_position => "beginning"
        codec => multiline {
            pattern => "^%{YEAR}%{MONTHNUM}%{MONTHDAY}[ ]%{TIME}"
            negate => true
            what => "previous"
        }
    }
}

配置项说明：

codec =>multiline {
     charset=>...          # 可选，字符编码                       
     max_bytes=>...        # 可选，设置最大的字节数，bytes 类型
     max_lines=>...        # 可选，设置最大的行数，默认是500行，number 类型
     multiline_tag...      # 可选，设置一个事件标签，默认是 multiline，string 类型
     pattern=>...          # 必选，设置匹配的正则表达式，string 类型
     patterns_dir=>...     # 可选，可以设置多个正则表达式，array 类型
     negate=>...           # 可选，默认为 false，boolean 类型
     what=>...             # 必选，向前 previous ，向后 next
 }

修改完成后重启 Logstash。

2.使用 logstash-filter-multiline 插件

该插件在 Logstash 下默认是未安装的，执行以下命令进行安装：

./bin/logstash-plugin install logstash-filter-multiline

安装完成后，修改 config/logstash-sample.conf，修改内容如下：

filter{
    multiline {
        pattern => "^%{YEAR}%{MONTHNUM}%{MONTHDAY}[ ]%{TIME}"
        negate => true
        what => "previous" 
    }
}

修改完成后重启 Logstash。

3.使用 Filebeat

- type: log

  # Change to true to enable this input configuration.
  enabled: true

  # Paths that should be crawled and fetched. Glob based paths.
  paths:
    - /home/source/api/logs/*.out
  tags: ["shop_dev"]

  fields:
    log_type: filebeat_shop_dev
    
  scan_frequency: 10s  # 检测文件更新频率
  multiline.pattern: '^\d{4}-\d{1,2}-\d{1,2}\s\d{2}\:\d{2}\:\d{2}\.\d{3}'     #匹配值 2022-03-14 21:13:35.112
  multiline.negate: true  # true，不匹配 pattern 的行合并到上一行；false，匹配 pattern 的行合并到上一行。默认为 false
  multiline.match: after  # after，为匹配合并到上一行的末尾；before，为匹配合并到上一行的开头
  multiline.timeout: 30s  # 匹配 pattern 模式超时时间
  tail_files: true  # 从文件尾开始监控文件新增内容
  fields_under_root: true

配置项说明：

multiline.pattern：匹配模板（正则表达式）
multiline.negate：正则表达式是否正向生效。true：符合正则表达式的为一个基准行；false：不符合表达式的为一个基准行
multiline.match：值为 after 或 before。after 代表合并到上一行的末尾；before 代表合并到下一行的开头
multiline.max_lines：合并的最大行数，默认 500
multiline.timeout：一次合并事件的超时时间，默认为 5s，防止合并消耗太多时间导致进程卡死

修改完成后重启 Filebeat。