fluentd收集容器日志信息到es配置注意

本文介绍了如何使用fluentd代替filebeat直接收集容器日志,避免日志持久化到本地,节省磁盘空间。通过配置docker日志driver为fluentd,安装fluent-plugin-elasticsearch插件,将日志发送到ES。同时,文章讨论了如何通过优化fluentd配置,添加特定标签以区分不同应用日志,简化日志查询和管理。
摘要由CSDN通过智能技术生成

fluentd是常用容器日志收集工具,与filebeat不同,fluentd可以将容器日志在不落到本地以文件形式存在的情况下,将日志收集并吐到对应的存储中。
例如,通常情况下,容器app的日志需要通过挂在,把容器日志目录挂在到本地,然后日志输出到log文件,以此来持久化。在通过filebeat等日志收集共工具将持久化的log文件吐到相应的日志存储(es或者kafka)中。
通过fluentd,容器不必将日志持久化到本地,fluentd可以直接收集docker logs <container_id>打印的日志,并吐到相应的日志存储中。这样可以节省磁盘空间。
要实现这样的功能需要如下配置:

1.配置docker日志driver为fluentd

在启动容器时,添加参数–log-drive=fluentd。
例如: docker run --log-driver fluentd nginx:latest这样将使容器以fluentd作为日志driver。

2.配置fluentd

fluentd有许多插件,输出到es需要安装fluent-plugin-elasticsearch插件,安装过程可以查看fluentd官方文档。

<match **>
  @type elasticsearch
  host localhost
  port 9200
  logstash_format true
</match>
host:es服务器地址
port:es服务端口

此为一个简单f

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值