百亿级日志之云原生实时流实战（1）

随着云原生技术的快速发展，微服务架构、容器及 Kubernetes 等技术的不断迭代，对于海量日志的管理提出了更高的要求，包括容器内磁盘是否持久化、HPA 时如何保证数据不丢失、海量日志如何进行可靠的传输、微服务数量达到一定规模时日志该如何管理、如何了解不同云商的收费策略以最大化节省成本，等等。

【云资源优化服务 SpotMax 充分利用云原生特性，基于微服务架构，可在保障用户服务稳定的同时充分利用Spot实例，实现云端降本增效。戳链接了解SpotMax】

 “云原生日志流实战”将会通过实操+讲解，探讨云计算背景下收集海量日志的架构及实现细节。

下文中将为大家展示的这套架构，目前已经经过实践检验，稳定支撑了线上每日百亿至千亿级别的日志的收集。沿着这一架构，我们将一步步带领大家动手完成一个部署在 k8s 集群的日志采集器。

fluentd 与 Docker 

市面上常用的开源日志采集工具一般有logstash、FLUME、 fluentd。其中 FLUME、 fluentd 的设计理念比较相像。fluentd 是基于C + Ruby的一套开源工具，FLUME是分布式的、可靠、可用的 Apache 项目，但是相对 fluentd来说，配置较为复杂。本次课程我们主要使用的是较为轻量级的开源工具 fluentd。

fluentd 配置简单，对日志的预处理</