双11快到了，你的实时运营分析准备好了吗？

随着移动互联网的迅猛发展，金融，电信，制造，零售等行业的营销重点都由线下转到了线上，数据规模呈现爆发式增长。经过多年的努力和实践，在大规模的数据分析领域已经有不少成熟的解决方案。而当下，企业面临的一个新的挑战就是数据分析的实时性。例如，在双11活动当天，如何根据当前客户消费数据实时调整销售货品和广告渠道，实现营销最大化是电商共同的目标和挑战。

传统数仓+实时分析

传统数据仓库通过批量导入业务源数据，进行数据的清洗和转换，在BI工具上进行可视化展现和分析。这种方式的优点是数据质量高，支持复杂多维分析，常用于对未知问题的探索。缺点是数据时效性欠佳，只能实现T+1的数据分析。

以Flink，Spark Streaming，Storm为代表的流式计算技术，能够在内存中快速处理业务源数据，使得用户能够看到各项指标的实时结果。这种实时数据仓库的优点是数据时效性高，能够实现T+0的数据分析，缺点是数据的准确性不足，不适合做复杂的分析，不支持数据修正，例如数据补录，因此无法将实时计算结果沉淀为历史数据。 从分析场景来看，这类技术通常用来实现针对少量关键维度的监控和告警，例如监控大屏实时查看促销活动销售额等，周期性强，整体数据延迟期望在毫秒级。

例如滴滴引入Flink作为实时计算引擎，延时可以做到毫秒级，支撑滴滴流量最大的业务网关监控系统，以及乘客位置变化通知、轨迹异常检测等多个线上业务。

Big Data OLAP +实时分析

前面谈到的主要是基于事件驱动的实时计算和监控，通常为事先定义的分析场景，但是当业务人员需要针对数据的统计特征和趋势变化进行探索式多维分析时，这类技术的短板也尤为明显，无法兼顾查询的灵活性和查询性能，无法结合历史数据得到同环比结果，无法支持一些复杂的查询语句。

例如观察近一小时月活相比过去7天，30天同一时段的月活情况，并通过地区、渠道、版面栏目、动作等多种维度分析月活下跌的原因。 这种探索式的分析需求过去都由业务方提交给数据分析人员专门开发Hive 离线任务去完成，灵活度差，时效性低，开发和运维工作量大。而Kylin OLAP引擎可以让业务运营人员完成所有维度的自助交互式查询和分析，实现实时和历史的融合分析。

Kylin 在实时OLAP 中的应用

作为在企业决策制定过程提供数据支持的战略设施，实时数据仓库应该具备的能力包括：

• 流批合一，满足实时和历史融合分析需求
• 存储分离，实时分析基于流式计算生成低延时数据，历史分析仍然基于传统跑批方式生成的高质量数据
• 统一的数据模型
• 统一的数据权限管控
• 支持高并发

实时、历史融合数仓架构

下图是Kyligence实时数仓的技术架构。该架构使得实时数据（T+0）和历史数据（T+1）拥有统一的数据模型，历史模型是实时模型在维度，指标，缓慢变化维等方面的扩展和增强。架构设计简单，统一基础架构支持多个分析场景，且查询逻辑保持一致，使用统一的查询语言和模型接口，进行统一的数据访问权限控制。

Kyligence 智能数据仓库架构

当Flink或Spark Streaming等实时计算技术将数据清洗，转换成明细表后，Kylin能够将明细数据加工成多维模型，并且提供强大的ANSISQL查询接口，满足灵活的应用开发需求，支持缓慢变化维，批流融合，高并发等场景。以下是流数据处理架构。

实时流数据处理架构

 

Kylin与Flink，Spark Streaming等技术的差异在于，Flink或Spark Streaming的强项在实时处理（Realtime Processing），擅长流式ETL处理和计算。而 Kylin则包含了两个阶段，即Processing和Serving，Processing是微批量的OLAP预计算，Serving的意思是提供全方位，细粒度的多维分析服务。 

Kylin作为实时数仓查询引擎的关键优势之一是支持读写分离部署，提供高并发场景下的秒级查询性能。以下是Kylin在汇总分析，层级维度钻取，多维度汇总及排序分析等场景下高并发查询延迟，可以看到，性能稳定在秒级延迟。

 

高并发场景实时多维查询性能

 

总结

数字化转型，本质上是数据驱动决策，分析结果获取的时效性就显得尤为重要，帮助企业各级管理层快速做出正确的决策，实现更好的产品迭代，实时数据仓库在这一过程中将会起到了不可替代的作用。Kyligence实时数仓解决方案能够满足实时和历史融合的统一模型分析，支持高性能，高并发，高可用的自助OLAP分析，一方面显著降低了IT团队开发和运维数据模型的工作量，另一方面增强业务团队快速分析和发现问题的能力，提升线上业务的运营能力和水平。 

关于作者

周倚平，金融电信行业解决方案总监，曾服务和参与建设银行，招商银行，中国银联，太平洋保险，华泰证券，浙江移动等十多个大数据平台项目。