Fluentbit tial->es 配置解析

最新推荐文章于 2024-08-13 08:17:38 发布

wtan825

最新推荐文章于 2024-08-13 08:17:38 发布

阅读量3.7k

点赞数

分类专栏： ELK 文章标签：监控

本文链接：https://blog.csdn.net/wtan825/article/details/93206971

版权

本文介绍了Fluentbit如何通过parsers.conf配置，解析日志中的时间字段并将其正确同步到ES的@timestamp字段，从而替代默认的日志录入时间。解析成功后，ES中的@timestamp将反映日志原始时间。

摘要由CSDN通过智能技术生成

[SERVICE]
    Flush         1 #buffer里的数据每隔1秒写到output插件里，这里写到ES里。
    Log_Level     info #fluent-bit的日志级别
    Daemon        off
    Parsers_File  parsers.conf #指向了另外一个配置文件，里面配置所有的parser。
    HTTP_Server   On
    HTTP_Listen   0.0.0.0
    HTTP_Port     2020

[INPUT]
    Name              tail #指定了input插件的类型，这里是tail类型
    Tag              {
  {$Host}}_{
  {$ESIndex}}_{
  {.ContainerName}}_{
  {$i}}给采集的日志打个标签，后面filter和output根据这个标签选择数据源
    Path              /var/log/pods/${POD_UID}/{
  {.ContainerName}}/*.log
    Path_Key          filename
    Parser            docker
    DB                /var/log/pods/${POD_UID}/{
  {.ContainerName}}/flb_std.db#记录哪个文件采集到哪一行
    DB.Sync           Full #internal SQLite engine用哪种方法同步数据到磁盘，full为安全优先
    #Key               log
    Mem_Buf_Limit     5MB #一旦buffer里的数据超过Mem_buf_limit，tail就会暂停采集，直到buffer数据被flush到output。
    Skip_Long_Lines   On #跳过长度大于Buffer_Max