大家好,今天 给大家重点分享一下离线数仓与实时数仓的内容。 我们先了解一下数据仓库架构的演变过程,本文主要从五个方面进行介绍
-
数据仓库概念
-
离线大数据架构
-
Lambda 架构
-
Kappa 架构
-
Lambda 架构与 Kappa 架构的对比
1 数据仓库概念
数据仓库是一个 面向主题的
(Subject Oriented)、 集成的
(Integrate)、 相对稳定的
(Non-Volatile)、 反映历史变化
(Time Variant)的数据集合,用于支持管理决策。
数据仓库概念是 Inmon 于 1990 年提出并给出了完整的建设方法。随着互联网时代来临,数据量暴增,开始使用 大数据工具 来替代经典数仓中的传统工具。此时仅仅是工具的取代,架构上并没有根本的区别,可以把这个架构叫做 离线大数据架构
后来随着业务实时性要求的不断提高,人们开始在 离线大数据架构 基础上加了一个加速层,使用流处理技术直接完成那些实时性要求较高的指标计算,这便是 Lambda 架构。
再后来,实时的业务越来越多,事件化的数据源也越来越多,实时处理从次要部分变成了主要部分,架构也做了相应调整,出现了以 实时事件处理为核心的 Kappa 架构 。
2 离线大数据架构
数据源通过离线的方式导入到离线数仓中。下游应用根据业务需求选择直接读取 DM 或加一层数据服务,比如 MySQL 或 Redis。 数据仓库从模型层面分为三层:
ODS,操作数据层,保存原始数据;
DWD,数据仓库明细层,根据主题定义好事实与维度表,保存最细粒度的事实数据;
DM&#x