数仓平台设计思路01

大数据行业中，数仓的作用不言而喻，承载着整个公司全业务线的核心，现在就企业内部数据的分析，尤其是各种各样的统计分析报表和用户画像分析，进行阐述。

下图为数仓整体的技术架构：

一个优秀可靠的数仓，一定要结构、分层清晰，能够快速找到数据的位置。主题域的划分，完全可按照公司内部的业务线和结构去划分。

上图中：
BDL层，作为缓冲数据层，其实就是贴源数据层，和源数据使用相同的表。直接用源库（传统关系型业务库）抽取数据，只存每天最新的数据快照（主要是增量数据）。

BAK层是BDL层抽数，保存的是全历史业务数据，起备份和查错的作用。

FDL层是基础数据层，是基于主题、数仓模型开发的基础数据表。这里主要用到了范式建模法和维度建模法（即星型模型）包含最细粒度的数据，故称基础数据层，通俗的理解，这才是整个数仓的最核心的基础数据层，因为BAK层和BDL层的数据表结构跟业务库的数据是完全一致的，而FDL层的数据才是开始进行真正意义上的第一次清洗，不要的字段去除，不规范的字段命名去除，统一数据，规范标准化的一个过程。

GDL层是通用数据层，就是宽表层。也是基于主题、数仓模型开发的宽表。可能会牺牲第三范式，将相关的各维度或属性整合到一张表里。这种表的特点就是字段较多，数据量较大，但它能帮助消除重复查询。由于这种表会被各种需求用到，故称通用数据层。

ADL层是汇总数据层，是基于主题、数仓模型开发的汇总数据表。这里只用到维度建模法（即星型模型）。指标库可以放到这一层。

APP层是开放给用户，用户可以在此层自己开发数据，提数。给用户的脱敏数据也可以放到这一层。

最后，数仓的数据流架构图如下：
.
数仓的设计大同小异，更多数仓平台的搜集和分享后续添加。