fluentd-pilot 使用教程

fluentd-pilot 使用教程

log-pilot项目地址:https://gitcode.com/gh_mirrors/fl/fluentd-pilot

项目介绍

fluentd-pilot 是阿里开源的 Docker 日志收集工具，能够自动感知所有容器的配置。每次启动或删除容器时，它能够检测到这些变化，并自动为新容器生成对应的配置文件，然后进行日志采集。采集的日志会根据配置发送到后端存储系统，如 Elasticsearch 或 SLS。

项目快速启动

前提条件

• Docker-compose >= 1.6
• Docker

部署步骤

1. 克隆项目仓库：

   git clone https://github.com/AliyunContainerService/fluentd-pilot.git
   cd fluentd-pilot
   

2. 使用 Docker-compose 启动 fluentd-pilot：

   version: '2'
   services:
     pilot:
       image: registry.cn-hangzhou.aliyuncs.com/acs-sample/fluentd-pilot:0.1
       environment:
         ELASTICSEARCH_HOST: elasticsearch
         ELASTICSEARCH_PORT: '9200'
         FLUENTD_OUTPUT: elasticsearch
       external_links:
         - es-cluster/es-master:elasticsearch
       volumes:
         - /var/run/docker.sock:/var/run/docker.sock
         - /:/host
   

3. 启动服务：

   docker-compose up -d
   

应用案例和最佳实践

案例一：Rancher 环境下的日志收集

在 Rancher 环境中，可以通过以下步骤使用 fluentd-pilot 收集日志：

1. 在 Rancher 应用商店中选择 Elasticsearch 和 Kibana。
2. 在 Rancher Agent 主机上部署一个 fluentd-pilot 容器。
3. 在容器启动时，声明容器的日志信息。

最佳实践

• 在每台机器上部署一个 fluentd-pilot 实例，以收集机器上所有 Docker 应用日志。
• 使用声明式配置，通过 label 声明要收集的日志文件的路径，无需改动其他任何配置。

典型生态项目

Elasticsearch

Elasticsearch 是一个分布式搜索和分析引擎，常用于日志和数据分析。fluentd-pilot 支持将日志发送到 Elasticsearch。

Kibana

Kibana 是一个开源的分析和可视化平台，通常与 Elasticsearch 一起使用，用于搜索、查看和交互存储在 Elasticsearch 索引中的数据。

SLS (阿里云日志服务)

阿里云日志服务（SLS）是一个全托管的日志数据平台，支持实时采集、存储和分析日志数据。fluentd-pilot 也支持将日志发送到 SLS。

通过以上步骤和案例，您可以快速上手并使用 fluentd-pilot 进行 Docker 日志收集。

log-pilot项目地址:https://gitcode.com/gh_mirrors/fl/fluentd-pilot