-
描述
因项目未进行日志格式化,在有空白字符开头的日志记录产生时,promtail无法将跨行及多行日志发送给loki,导致日志丢行。
-
解决
经过查询官方文档https://grafana.com/docs/loki/v2.2.0/clients/promtail获悉Promtail可通过配置pipelines管道进行处理日志(类似于ELK格式化日志),但实现很轻巧。
经过实践,参考https://grafana.com/docs/loki/v2.2.0/clients/promtail/pipelines/,在客户端promtail中进行以下配置可解决日志多行、跨行问题。书写过程请注意引号及缩进
scrape_configs: - job_name: 'xx' static_configs: - targets: ... pipeline_stages: - match: selector: '{label_key="label_val"}' //需替换为targets中定义的标签键值 stages: - regex: expression: '.*' //匹配所有有字符的日志记录 multiline: firstline: '^行首标志' //需替换为产生跨行或多行的日志行首正则表达式,正则参照<https://github.com/google/re2/wiki/Syntax>
Loki + Promtail 解决日志多行与跨行问题
最新推荐文章于 2024-07-05 14:19:42 发布
当项目缺少日志格式化时,Promtail无法正确处理有空白字符开头的多行或跨行日志,导致日志丢失。通过查阅官方文档并实践,可以在Promtail客户端配置pipelines管道来解决此问题。具体做法是设置regex和multiline阶段,匹配日志行首标志,确保日志完整发送到Loki。
摘要由CSDN通过智能技术生成