logback修改日志内容_记一次Logstash日志丢失问题

最新推荐文章于 2024-08-09 09:11:23 发布

李悌臣

最新推荐文章于 2024-08-09 09:11:23 发布

阅读量1.6k

点赞数

文章标签： logback修改日志内容

本文链接：https://blog.csdn.net/weixin_31433053/article/details/112071446

版权

本文记录了一次Logstash日志丢失问题的排查过程。系统通过logback配置双写日志，本地无误但Logstash在Kibana上显示部分日志缺失。研究发现LogstashTcpSocketAppender的RingBuffer满会导致日志丢失，且日志数据传输后因json解析错误被截断。解决方案是将Logstash的codec从json改为json_lines，避免长json被截断导致解析异常。

摘要由CSDN通过智能技术生成

某系统日志架构是在项目中通过配置logback.xml配置双写

写本地日志文件
写到远程logstash

本地没有问题，有问题是logstash，在Kibana上看到有些日志没显示。

开始是怀疑是不是日志丢了，由于使用的是LogstashTcpSocketAppender

查了下官文文档:

Internally, the TCP appenders are asynchronous (using the LMAX Disruptor RingBuffer).All the encoding and TCP communication is delegated to a single writer thread.There is no need to wrap the TCP appenders with another asynchronous appender (such as AsyncAppender or LoggingEventAsyncDisruptorAppender).

The TCP appenders will never block the logging thread. If the RingBuffer is full (e.g. due to slow network, etc), then events will be dropped.