Serverless日志处理挑战与方案

本文PPT来自阿里云的简志于10月16日在2016年杭州云栖大会上发表的《Serverless日志处理挑战与方案》。

随着Serverless架构变得越来越流行，它不仅给研发与运营方面带来了便捷，同时也提出的新挑战，这是由于以下三个因素：1. 市场节奏变快，由卖方市场到买方市场成熟时间变短 2.云对技术影响大，运维转向运营，上线周期缩短 3.数据改变运营，需要收集百万用户行为，并实时提升游戏。

此外，由于Serverless架构同时影响了传统的计算与日志模式，所以Serverless也对日志处理提出了挑战。具体而言，这里挑战包括：

1.技术挑战，因为日志信息有多个来源，如应用打点、用户访问、程序日志，并且通过容器、移动端、网页端多种渠道，所以需要多渠道、多维度、多种处理方法。

2.规模挑战，面对上百万同时在线的用户所产生的数据，系统应利用这些日志更快地解决问题，这要就系统能处理大量数据，并且实时性强。

3.业务挑战，对于运营、运维报表，系统应快速响应并处理，对每一份数据都提供多个产出。

面对这些挑战，阿里云对应提供了日志服务。这个系统由LogHub、LogSearch和LogShipper三部分组成，其中LogHub负责采集和消费日志，LogSearch负责索引和查询日志，LogShipper则负责日志投递。这里日志采集模块主要是在Docker环境下进行，能够采集Stdout日志和文件日志，并且具有无特殊配置、弹性伸缩和Pb级大规模应用等特性。其他模块还包括以下功能：为应用添加更多采集点、日志清洗与ETL、弹性伸缩能力、日志在线离线对接、日志索引与查询、链路跟踪与山下文查询等。未来，在日志服务2.0时代，阿里将在模糊查询、可伸缩储存和支持对接更多处理方案三大方面持续研究。