Fluent Bit 日志分析

从你提供的 Fluent Bit 日志来看，日志数据在发送到 Elasticsearch 的过程中出现了错误。我们来逐项分析报错信息：

---

🔍 错误关键信息分析

[engine] failed to flush chunk ...
[output:es:es_log] HTTP status=500 URI=/_bulk
response: {"error":{"root_cause":[{"type":"json_parse_exception","reason":"Invalid UTF-8 start byte 0xfd"}],...}

❗ 关键错误：

json_parse_exception
Invalid UTF-8 start byte 0xfd

这表示 Fluent Bit 在通过 _bulk 接口将日志数据发送到 Elasticsearch 时，ES 无法正确解析 JSON 数据的某一部分，因为它包含了 非法的 UTF-8 字节（0xfd）。

---

📌 可能原因

1. 日志中包含非法的 UTF-8 字符

   • 某些日志源（如来自容器、数据库、或外部系统）输出的日志并非严格 UTF-8 编码，可能是 GBK、Latin-1、或者是二进制乱码。
   • Elasticsearch 要求 _bulk 接口的数据必须是 合法 JSON 且 UTF-8 编码。

2. Fluent Bit 未正确处理编码或未启用字符转义

   • 默认情况下，Fluent Bit 只将日志按原样转发。如果输入的编码不对，它不会自动转换成 UTF-8。
   • 如果启用了 storage.backlog，意味着这个 chunk 是失败重试过的，说明这是持续问题。

---

🛠️ 解决建议

✅ 1. 启用 UTF-8 校验和清洗非法字符

你可以在 Fluent Bit 配置中添加如下过滤器，以确保输出到 ES 的数据是合法 UTF-8：

[FILTER]
    Name modify
    Match *
    Condition Key_Value_Key_Match log *
    Encode    log utf-8:replace

或者使用 lua 脚本过滤非法字符：

[FILTER]
    Name    lua
    Match   *
    script  sanitize_utf8.lua
    call    sanitize

sanitize_utf8.lua 示例：

function sanitize(tag, timestamp, record)
    if record.log then
        record.log = string.gsub(record.log, "[^\32-\126]", "")
    end
    return 1, timestamp, record
end

✅ 2. 检查日志来源的编码格式

• 确保日志源（如应用容器、日志代理、shell 脚本等）输出为 UTF-8。
• 如果是数据库日志（如 MSSQL 或 PostgreSQL），确认字符集设置是否为 UTF-8。

✅ 3. 打开 Fluent Bit Debug 模式定位源日志

将 Fluent Bit 的日志等级提升为 debug，找到出错 chunk 内容：

[Service]
    Log_Level  debug

然后可定位是哪条日志数据中包含非法字节 0xfd。

---

📊 附加建议

• 可以临时配置 Fluent Bit 将数据输出到 stdout 或 file（而不是 Elasticsearch），用以检查原始内容。
• 在 Elasticsearch 端设置 pipeline 也可对日志内容做清洗或跳过错误。

---

如果你能提供 Fluent Bit 的相关配置（比如 [OUTPUT] 和 [FILTER] 段），我可以帮你进一步确认如何修改。是否需要我帮你生成一个适配的配置片段？