容器日志采集利器Log-Pilot

容器时代越来越多的传统应用将会逐渐容器化，而日志又是应用的一个关键环节，那么在应用容器化过程中，如何方便快捷高效地来自动发现和采集应用的日志，如何与日志存储系统协同来高效存储和搜索应用日志。本文将主要跟大家分享下如何通过Log-Pilot来采集容器的标准输出日志和容器内文件日志。

日志采集难点

首先我们先看一下容器日志采集的一些难点，这里主要从两个方面来讲，第一个是容器本身的特性，第二个是现有采集工具的一些缺陷：

容器本身特性

• 采集目标多
  容器一般推荐将日志写在标准输出，但是也有一些特殊的场景就是应用直接将日志写在容器内部。对于容器的标准输出日志来说，Docker Engine 本身就提供了一个很好的日志采集能力，但是对于容器内部的文件日志采集，现在并没有一个很好的工具能够去动态发现采集。
• 容器的弹性伸缩性
  我们知道 Kubernetes 本身是一个分布式集群，那么我们事先就无法像传统虚拟机环境下那样，事先配置好日志的采集路径等一些信息，因此这对于容器的日志采集来说也将面临一个很大的挑战。

现有采集工具缺陷

• 缺乏动态配置的能力
  目前的采集工具都需要我们事先手动配置好日志采集方式和路径等信息，由于它无法能够自动感知到容器的生命周期变化或者动态漂移，所以它无法动态地去配置。
• 日志采集重复或丢失
  现有的一些采集工具基本上是通过 tail 的方式来进行日志采集的，那么这里就可能存在两个方面的问题：一个是可能导致日志丢失，比如采集工具在重启的过程中，而应用依然在写日志，那么就有可能导致这个窗口期的日志丢失；而对于这种情况一般保守的做法就是，默认往前多采集 1M 日志或 2M 的日志，那么这就又会可能引起日志采集重复的问题。
• 未明确标记日志源
  一个应用可能有很多个容器，输出的应用日志也是一样的，那么当我们将所有应用日志收集到统一日志存储后端时，在搜索日志的时候，我们就无法明确这条日志具体是哪一个节点上的哪一个应用容器产生的。

破解利器 Log-Pilot

针对这些问题，我们提供了一个智能容器采集工具 Log-Pilot，它不仅能够高效便捷地将容器日志采集输出到多种存储日志后端，同时还能够动态地发现和采集容器内部的日志文件。

Log-Pilot 本身分为三部分，其中一部分就是容器事件管理，它能够动态地监听容器的事件变化，然后依据容器的标签来进行解析，生成日志采集配置文件，然后交由采集插件来进行日志采集。

下面看一下，针对前面容器日志采集的难点，Log-Pilot 是如何去解决的：