离线实时一体化数仓与湖仓一体—云原生大数据平台的持续演进

林伟，阿里云智能研究员、阿里云智能通用计算平台MaxCompute、机器学习PAI平台技术负责人

本篇内容将从三个部分为读者讲述离线实时一体化数仓与湖仓一体—云原生大数据平台的持续演进。通过从数据湖到数仓的历史，反思为什么要做湖仓一体，以及湖仓一体在今天这个阶段为什么开始做离线和实时湖仓一体化的数仓。

• 湖仓一体
• 离线在线数仓一体化
• 智能数仓

希望这次的分享让大家进一步理解我们为什么做湖仓一体。

一、湖仓一体

(1) 阿里巴巴从数据湖到数仓历程

2007年的宁波战略会议确定建立一个开发、协同、繁荣的电子商务生态系统，其中生态系统的核心是数据。但这个时候各个业务部门都在垂直式发展数据能力，用数据支撑商业的决策服务。这些数据中台支撑了业务部门的发展。当我们发展到一个阶段的时候，希望进一步挖掘出各个业务部门数据之间的关联性，从而利用这些高阶数据分析挖掘更高商业价值，我们遇到了很多的困难，因为数据来自不同的部门，不同的人会提供你不同的数据集，没有清晰数据质量监控，你也不知道这些数据是不是完整的，你就需要花费很多时间不停的去校准数据。这个过程耗时太长且多数情况会做了非常多的无用功，这样其实整体下降了公司的效率。

所以到了2012年，我们决定将所有的业务部门的数据都关联起来，决心做『One Data，One Service』。其实这个过程就是典型一个数据湖升级到数仓的过程，但是因为我们缺乏很好湖仓一体的系统沉淀，这个过程非常艰难&