使用Fluentd作为Docker日志收集

最新推荐文章于 2024-09-06 03:15:34 发布
最新推荐文章于 2024-09-06 03:15:34 发布
阅读量1.4k 收藏
点赞数
文章标签： docker 容器 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44268936/article/details/133690627
版权


文章目录

前言

随着容器化技术的普及，日志管理变得愈发重要。Docker作为一种轻量级的容器化解决方案，提供了丰富的日志生成和管理功能。
Docker默认会为每个容器生成的日志文件并保存在/var/lib/docker/containers/containerID/containerID-json.log文件中，日志驱动是支持拓展的，在这个领域，Fluentd作为一种流行的开源日志收集工具，为Docker用户提供了灵活而强大的日志收集解决方案。

什么是Fluentd？

Fluentd 是云原生计算基金会 (CNCF)毕业的项目，是一个开源的数据收集器，相对于logstash来说更加轻量灵活，专为在大规模数据流中收集、过滤和转发日志而设计。它具有轻量级、可扩展和易于定制的特点，使其成为处理各种日志数据的理想选择。Fluentd支持多种输入和输出插件，使其能够集成到不同的环境中。

为什么选择Fluentd作为Docker日志驱动？

在Docker中，容器生成的日志是实时且大量的。为了有效地收集和管理这些日志，选择适当的日志驱动至关重要。Fluentd作为Docker的日志驱动有以下几个优势：

  1. 多样的数据源支持： Fluentd支持各种数据源，包括文件、TCP、UDP、HTTP等。这意味着无论你的应用程序在哪里生成日志，Fluentd都能够轻松地进行收集。
  2. 灵活的插件系统： Fluentd的插件系统非常灵活，可以轻松扩展其功能。你可以根据需要添加输入、输出、过滤器等插件，以满足特定的日志收集和处理需求。
  3. 可视化和中央化管理： 使用Fluentd作为日志驱动，你可以将所有的Docker容器日志集中管理。这样一来，你可以轻松查看、搜索和分析所有应用程序的日志，从而更好地监控系统状态。
  4. 使用 JSON 进行统一日志记录：Fluentd 尝试尽可能将数据结构化为 JSON：这使得 Fluentd 能够统一处理日志数据的所有方面：跨多个源和目的地收集、过滤、缓冲和输出日志（统一日志层）。使用 JSON 进行下游数据处理要容易得多，因为它具有足够的结构可供访问，同时保留灵活的模式。

在Docker中使用Fluentd

准备用于启动fluentd以及收集目标容器的docker-compose文件

version: '3.7'

x-logging:
  &default-logging
  driver: fluentd #指定使用 Fluentd 作为日志驱动器
  options:
    fluentd-address: localhost:24224 #指定 Fluentd 服务的地址。
    fluentd-async-connect: 'true' #启用异步连接
    mode: non-blocking
    max-buffer-size: 4m
    tag: "ming.{{.Name}}" #{{.Name}}是容器名

services:

  fluentd:
   image: fluent/fluentd:v1.3.2
   ports:
    - 24224:24224
   volumes:
    - ./conf/fluent.conf:/fluentd/etc/fluent.conf
    - /var/log/fluentd:/var/log/fluentd
   environment:
    - FLUENTD_CONF=fluent.conf

  fluentd-redis:
   image: redis
   depends_on:
     - fluentd
   logging: *default-logging

  fluentd-worker:
   image: fluent/fluentd:v1.3.2
   depends_on:
     - fluentd
   logging: *default-logging

准备Fluentd 的配置文件，用于定义 Fluentd 如何处理和转发日志数据。这个配置文件包含了输入、输出、过滤器等指令，以及各种参数，用于定制 Fluentd 的行为。

在 fluentd.conf 文件中，你可以配置：

  1. 输入插件（Input Plugins）： 定义 Fluentd 从哪里接收日志数据。例如，从文件、TCP、UDP、HTTP 等。
  2. 输出插件（Output Plugins）： 定义 Fluentd 将日志数据发送到哪里。可以是文件、数据库、消息队列、其他日志收集器等。
  3. 过滤器（Filter Plugins）： 定义 Fluentd 如何处理、转换或过滤日志数据。可以用于对数据进行格式化、筛选、标记等操作。
  4. 缓冲区（Buffer Settings）： 定义 Fluentd 如何管理和处理日志数据的缓冲。可以配置缓冲区的大小、刷新策略等。
  5. 格式化（Format Plugins）： 定义日志数据的格式，以便正确地解析和处理。

…

fluent.conf：

<source>
  @type forward
  port 24224
  bind 0.0.0.0
</source>

<match ming.*>
  @type              file
  path               /var/log/fluentd/ming/${tag[1]} #输出文件的路径，tag[1]在这里对应获取到的是容器名
  append             true
  <format>
    @type            single_value
    message_key      log
  </format>
  <buffer tag,time>
    @type             file
    timekey           1d
    timekey_wait      10m
    flush_mode        interval
    flush_interval    5s
  </buffer>
</match>

<match **>
  @type              file
  path               /var/log/fluentd/${tag}
  append             true
  <format>
    @type            single_value
    message_key      log
  </format>
  <buffer tag,time>
    @type             file
    timekey           1d
    timekey_wait      10m
    flush_mode        interval
    flush_interval    5s
  </buffer>
</match>

fluentd需要在配置的输出目录下有写入权限，因此需要赋予输出路径写入权限

mkdir /var/log/fluentd

chmod -R 777 /var/log/fluentd

在docker-compose.yml和fluentd.conf的目录中执行命令
image.png
启动成功
image.png
查看下fluentd输出日志目录下，就有对应的容器日志文件了（这里可以看到日志文件对应了容器名并且按我们的指示拼接了时间信息）
image.png

可拓展性

实际上，fluentd不仅可以将日志收集到本地，还可以将收集到的日志传输出去，例如输出到elasticsearch、mongo、kafka等等。

<match my.logs>
  @type elasticsearch
  host localhost
  port 9200
  logstash_format true
</match>

# Single MongoDB
<match mongo.**>
  @type mongo
  host fluentd
  port 27017
  database fluentd
  collection test

  # for capped collection
  capped
  capped_size 1024m

  # authentication
  user michael
  password jordan

  <inject>
    # key name of timestamp
    time_key time
  </inject>

  <buffer>
    # flush
    flush_interval 10s
  </buffer>
</match>

<match pattern>
  @type kafka2

  # list of seed brokers
  brokers <broker1_host>:<broker1_port>,<broker2_host>:<broker2_port>
  use_event_time true

  # buffer settings
  <buffer topic>
    @type file
    path /var/log/td-agent/buffer/td
    flush_interval 3s
  </buffer>

  # data type settings
  <format>
    @type json
  </format>

  # topic settings
  topic_key topic
  default_topic messages

  # producer settings
  required_acks -1
  compression_codec gzip
</match>

通过利用插件，你可以更好地利用你的日志。

使用架构

使用fluentd收集docker日志后可以将容器汇总到一起.来看看配置了本文的fluentd配置文件后的架构:

由于fluentd配置的是存储在fluentd所在机器的本地目录,所以效果是将其他机器的容器日志收集到fluentd所在机器的本地目录中。

结语

总体而言，Fluentd作为Docker的日志驱动为容器化环境提供了可靠而灵活的日志管理解决方案，为系统监控、故障排除和日志分析提供了有力的支持。

林ming
关注
Fluentd日志收集与解析实践
程序员光剑
07-28 1604
Fluentd 是一款开源、多平台、全面的日志聚合、传输和处理工具，支持包括 Apache Kafka、Elasticsearch、InfluxDB、Cloudwatch Logs 在内的一系列主流日志采集、传输和处理服务。本文将详细介绍Fluentd日志收集组件的主要功能，并对 Fluentd 及其相关组件进行配置、部署，帮助读者更好地理解 Fluentd 的工作机制及架构设计，更好的掌握 Fluentd 的使用方法。Fluentd 是一个开源的日志收集和传输框架。
使用fluentd作为docker日志驱动收集日志
01-07
docker默认的日志驱动是json-file,每一个容器都会在本地生成一个/var/lib/docker/containers/containerID/containerID-json.log,而日志驱动是支持扩展的,本章主要讲解的是Fluentd驱动收集docker日志. Fluentd是用于...
使用Fluentd收集Docker容器日志
weixin_34326179的博客
01-24 1308
本文介绍使用Fluentd收集standalone容器日志的方法。 Docker提供了很多logging driver，默认情况下使用的json-file，它会把容器打到stdout/stderr的日志收集起来存到json文件中，docker logs所看到的日志就是来自于这些json文件。 当有多个docker host的时候你会希望能...
通过fluentd收集docker日志
万里长城永不倒的博客
05-17 3509
由于docker的logdriver默认支持Fluentd，所以发送端默认选定Fluentd.
SpringBoot 和 SpringCloud 微服务实用指南（七）
龙哥盟
07-23 934
历史上，处理日志记录最受欢迎的开源栈之一就是来自 Elastic 的 ELK 栈（www.elastic.co），基于 Elasticsearch、Logstash（用于日志收集和转换）和 Kibana。由于 Logstash 运行在 Java VM 上，它需要相对较多的内存。多年来，已经开发出许多比 Logstash 占用更少内存的开源替代品，其中之一就是 Fluentd(www.fluentd.orgFluentd 是由云原生计算基金会CNCF）管理的（www.cncf.io。
Fluentd简介
热门推荐
翔鹰的专栏
10-19 3万+
最近公司想要统一管理各个项目的日志，也为以后日志可视化查询做一个铺垫。经过筛选，选择了fluentd来做日志的收集转发工作，预想利用EFK来做日志收集、查询、可视化的方案。 啥？你问我为啥不用Logstash，可参考文章Fluentd vs. Logstash: A Comparison of Log Collectors ,两者差异并不大，Fluentd所占内存较小、社区更活跃。 Fluen...
Fluentd的使用入门到熟练
xialingming的博客
07-25 2万+
1. fluentd fluentd是一个针对日志的收集、处理、转发系统。通过丰富的插件系统，可以收集来自于各种系统或应用的日志，转化为用户指定的格式后，转发到用户所指定的日志存储系统之中。 fluentd 常常被拿来和Logstash比较，我们常说ELK，L就是这个agent。fluentd 是随着Docker，GCP 和es一起流行起来的agent。 这篇文章里概括一下的话，有以下区别： ...
Fluentd介绍
weixin_44227567的博客
04-02 1537
Fluentd是一个开源的日志收集和分发系统，它能够从多种数据源采集日志信息，并对日志进行过滤、加工处理后发送到不同的存储和处理系统。基本概念：Fluentd被设计为一个高性能、可靠性强的数据收集器，特别适合用于大规模和高可用性的环境。它通过输入插件、过滤器和输出插件来处理数据流。功能和优势：Fluentd可以处理不同格式和来源的日志数据，支持多种数据处理功能，如缓冲、队列、批量处理等。它的插件系统使得其非常灵活，可以根据需要选择和配置各种插件以适应不同的使用场景。安装与配置。
fluentd tail mysql_Fluentd教程(附实例)
weixin_39611049的博客
01-26 574
fluentd是一个开源的日志收集系统，能够收集各式各样的日志, 并将日志转换成方便机器处理的json格式。fluentd日志架构安装不同操作系统的安装方式不同，具体可以参考:另外在生产环境中安装Fluentd之前，也需要对操作系统做一些配置，如:设置好NTP时间同步调整允许操作的文件符最大个数优化内核中与网络相关的参数等具体配置可以参考:本文为了便于快速测试，直接使用fluentd的docker...
ES8生产实践——pod日志采集（Fluentd方案）
qq_33816243的博客
09-10 2253
Fluentd是一个是一个开源的日志收集和传输工具，旨在解决日志数据的收集、传输和处理问题，它可以收集来自于各种系统或应用的日志，转化为用户指定的格式后，转发到用户所指定的日志存储系统之中。用图来说明问题的话，在没有使用之前Fluentd，日志采集过滤存储流程如下所示：使用Fluentd之后，日志系统如下所示：Fluentd负责从服务器收集日志信息，将数据流交给后续存储服务和查询工具。换句话说，Fluentd不负责生产数据、不负责存储数据，只是数据的搬运工。
使用logstash作为docker日志驱动收集日志
01-20
尽管Docker本身没有内置的Logstash驱动，但我们可以通过GELF（Graylog Extended Log Format）输入插件来间接实现Logstash收集Docker日志。 在使用Logstash之前，需要对Docker和Logstash的基本操作有一定的了解。...
支持minio存储fluentd的docker镜像build
05-08
build支持minio存储的fluentd docker镜像，并实现收集日志后按照tag的进行分文件夹存储，已验证可正常使用
Fluentd日志采集使用教程
JacksonKing的专栏
06-04 6959
fluentd是何方神圣 fluentd是一个实时的数据收集系统，不仅可以收集日志，还可以收集定期执行的命令输出和HTTP请求内容。数据被收集后按照用户配置的解析规则，形成一系列event。每一个event包含如下内容： tag = xxx time = xxx record = { "key1": "value1", "key2": "value2" } 其中： tag：为数据流的标记。fluentd中可以具有多个数据源，解析器，过滤器和数据输出。他们之前使用tag来对应.
fluentd 安装、配置、使用介绍
Baron_ND的博客
10-22 4027
fluentd 安装、配置、使用介绍 March 20, 2019inefk,fluentd fluentd2是一个针对日志的收集、处理、转发系统。通过丰富的插件系统， 可以收集来自于各种系统或应用的日志，转化为用户指定的格式后，转发到用户所指定的日志存储系统之中。 本文由简悦 SimpRead转码， 原文地址https://blog.laisky.com/p/fluentd/ fluentd 安装、配置、使用介绍 fluentd v1.0 updated at 2016/1...
收集转发日志组件 fluentd 语法简介
qq_45598161的博客
03-29 1237
EFK fluentd日志收集语法简介
fluentd 简介，日志收集并导入BigQuery
最新发布
nvd11的专栏
09-06 961
Fluentd 是一个开源的数据收集器，旨在实现日志数据的统一收集、处理和转发。它支持多种数据源和数据格式，并具有灵活性和可扩展性，使得在大规模分布式系统中处理日志数据变得更加容易。以下是 Fluentd 的一些关键特点和优势：多源数据收集：Fluentd 支持从各种数据源收集数据，包括日志文件、系统日志、应用程序日志、传感器数据等。数据格式转换：Fluentd 可以将不同格式的数据转换为统一的格式，使其更容易进行处理和分析。
【中间件学习】Fluentd基础学习教程
一个程序员
09-27 1648
Fluentd是一个通用的数据收集框架，通常用来作为统一的日志处理平台，这篇文章主要记录Fluentd的学习与使用过程，也包括一些采坑的点，和大家分享经验。
日志收集及数据清洗 fluentd fluent-bit
分享数据工作中实际碰到的问题和解决方法
07-06 2174
日志收集及数据清洗 fluentd fluent-bit
Docker 本身日志
05-25
Docker 本身有两种类型的日志：主机上的守护进程日志和容器内部应用程序的日志。 主机上的守护进程日志包括 Docker 守护进程的启动、终止和错误日志。这些日志通常存储在守护进程配置文件中指定的位置，或者在使用 systemd 等系统管理工具时存储在系统日志中。 容器内部应用程序的日志通常由应用程序本身生成并存储在容器内部。要查看容器的日志，可以使用 `docker logs` 命令。例如，要查看名为 mycontainer 的容器的日志，可以运行以下命令： ``` docker logs mycontainer ``` 你还可以使用 `-f` 参数来实时跟踪容器的日志输出： ``` docker logs -f mycontainer ``` 此外，Docker 还支持将容器日志转发到外部日志收集器，如 Fluentd、Logstash 或 Elasticsearch。这可以通过使用 Docker 驱动程序来完成。例如，要将容器日志转发到 Elasticsearch，可以使用以下命令： ``` docker run --log-driver=elasticsearch --log-opt elasticsearch-host=elasticsearch-server myapp ``` 这将使用 Elasticsearch 驱动程序将 myapp 容器的日志发送到名为 elasticsearch-server 的 Elasticsearch 实例。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值