一文深度解读阿里云CDN实时日志的前世今生：挖掘实时数据的无限价值

阿里云CDN实时日志服务可以将CDN采集的日志，秒级的交付给用户, 并且可以对采集到的日志进行实时、交互式分析和报表呈现，为监控、报警、渠道分析、运营分析提供实时、可靠的数据参考，让用户远离锁事，专注数据价值。

12月26日，阿里云CDN实时日志服务举办线上直播发布会，全网首次深度解读阿里云CDN大数据系统技术演进、产品特性、应用场景与业务实操。

CDN实时日志源起何处？

阿里云CDN从2014年正式商业化至今，服务了百万域名，每天处理数PB的数据，并应对亿级并发的洪峰流量，实现最低秒级延迟，并且提供100%的高数据准确性服务。伴随系统规模发展，CDN产生的日志数据量也越来越庞大，同时CDN业务场景下的原始数据分布广泛、处理环节复杂、使用场景繁多等等现状也给阿里云大数据系统带来了不小的挑战。

另一方面，阿里云CDN服务了全球三十多万客户，在与客户沟通中，通常会面临这样的问题：

1. 用户无数据源

绝大部分的CDN产商都只提供离线日志下载，日志数据从产生，到用户可下载，需要几十分钟到数个小时不等。这样大的数据产生延时，大大削减了高实时性要求场景的数据分析价值，无法驱动运营调整策略

2. 无法进行实时监控报警

无法实时把握CDN服务性能，对线上问题排查的不及时，遇到问题的灾备方案对客户端有感，进而无法实现更自动化、智能化的运维，不能提前发现业务瓶颈，进一步提升CDN的服务质量

3. 数据分析及可视化的开发、运维成本高昂

为了解决各类定制化的数据分析需求，用户通常需要自建数据仓库, 自建流式和离线分析平台, 数据可视化平台。投入大量建设资金的同时, 还需要投入大量的研发和运维人力

4. 自建系统技术挑战大

整个数据平台的数据来源广泛，数据处理方式复杂，随着业务的快速发展, 对系统稳定性、数据实时性、数据准确性、全球化服务能力也不断提出严苛的要求。使用开源软件对企业的技术挑战很大, 在性能、成本、定制化、稳定性也未必能跟上业务要求。

综上所述，更通用、实时、准确的日志获取, 分析和可视化的需求逐渐凸显，阿里云CDN大数据系统在这个背景之下走上了技术演进之路。

阿里云CDN大数据系统架构演进

起初，阿里云CDN大数据业务架构完全基于开源软件搭建，但是随着业务系统越来越大，我们发现在开源方案中解决问题的成本也越来越高，考虑到成本和后续服务的及时性、稳定性、定制化等因素，逐渐将开源方案以集团内部自研方案来替换。