docker 部署 fluentd

Fluentd简介

Fluentd 是一个开源的数据收集器，旨在简化日志和其他事件数据的收集、处理和转发。它由 Treasure Data 公司开发并维护，广泛应用于各种规模的应用程序和服务中，以实现高效且可靠的日志管理和分析。

Fluentd 的主要特点

统一日志层：Fluentd 可以从多个来源（如应用程序、系统日志、网络设备等）收集日志，并将它们转换为标准化的 JSON 格式，便于后续处理。

可扩展性强：通过插件机制，Fluentd 支持与多种数据源和目标系统集成。官方提供了大量的插件，涵盖了常见的数据库、消息队列、云服务等。

高可靠性：Fluentd 采用缓冲区机制，确保在网络故障或下游系统不可用时不会丢失数据。它还支持多输出路径，进一步提高系统的容错能力。

轻量级：Fluentd 的设计注重性能和资源消耗，适合在资源有限的环境中运行。

社区活跃：拥有庞大的用户群体和活跃的开发者社区，提供了丰富的文档和支持。

Fluentd 的工作流程

输入 (Input)：从各种数据源（如文件、syslog、HTTP API 等）接收日志数据。
解析 (Parse)：将接收到的数据解析成结构化的 JSON 格式。
过滤 (Filter)：对数据进行预处理，例如添加时间戳、修改字段等。
匹配 (Match)：根据配置规则决定如何处理每条记录。
输出 (Output)：将处理后的数据发送到指定的目标系统（如 Elasticsearch、S3、MongoDB 等）。

使用场景

集中化日志管理：收集来自不同服务器和应用的日志，集中存储和分析。
实时监控和报警：结合 Kibana 或其他工具，实现实时日志监控和异常报警。
微服务架构中的日志聚合：在分布式系统中，Fluentd 可以有效地收集各个微服务的日志。
跨平台日志传输：支持多种操作系统和云环境，方便在异构环境中统一管理日志。

Fluentd 部署

官方GitHub仓库
官方docker镜像源码地址

官网地址

插件地址

本文档要进行EFK日志中心的搭建，所以使用自带elasticsrarch插件的v1.14-1版本进行部署测试

1. 拉取镜像

   docker pull fluent/fluentd:v1.14-1
   

2. 创建配置文件

   # 创建fluent