Filebeat向Elasticsearch输入log,合并行

参考资料
https://blog.csdn.net/qq_41154522/article/details/107283490

需求

Filebeat向Elasticsearch输入log的时候,INFO 日志肯定没有问题,因为Filebeat也是按照行读取的。
比如这种的

2020-12-11 19:02:13.135 [main] INFO com.example.test.listen.Demo 3644b875-1428-4afb-8fb9-dcc08d147419----第1个 log

但是对于那种错误日志的话,比如

2020-12-11 19:02:13.135    [main]    ERROR    com.example.test.listen.Demo    has a exception
java.lang.Exception: has a exception
        at com.example.test.listen.Demo.exception(Demo.java:27)
        at com.example.test.listen.Demo.main(Demo.java:19)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:498)
        at org.springframework.boot.loader.MainMethodRunner.run(MainMethodRunner.java:49)
        at org.springframework.boot.loader.Launcher.launch(Launcher.java:107)
        at org.springframework.boot.loader.Launcher.launch(Launcher.java:58)
        at org.springframework.boot.loader.JarLauncher.main(JarLauncher.java:88)

这样的话,我们在写入es的时候,没有办法匹配error日志,进而切分成多个字段,这样日志查看也就没有了意义。

解决

幸亏FileBeat自带整合的功能,在filebeat.yml 的文件中(这个是我自己的样例)

multiline.pattern: ^2
multiline.negate: true
multiline.match: after

这些的相关意思为
multiline.pattern: ^2 ------ 正则表达式
multiline.negate: true ------ 默认是false,匹配pattern的行合并到上一行;true,不匹配pattern的行合并到上一行
multiline.match: after ------ after 或 before,合并到上一行的末尾或开头

这样的话就可以将不匹配2开头的日志合并到上一行的最后面

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值