(2020.11.26)
统一数仓建设-标准化的数据底座
1、统一数仓概念、目标及推荐模型
- 概念:统一数仓建设过程以维度建模为理论基础,构建总线矩阵,划分业务板块、定义数据域、业务过程、维度、原子指标、修饰类型、修饰词、时间周期、派生指标,进而进行维度表与事实表的模型设计
- 目标:从业务完整性的角度重组数据,建设一套覆盖全域、全历史的企业数据体系,利用这套体系还原企业任意时刻的业务运行状态;
- 推荐模型:随着技术的
2、维度建模的特点与核心概念
- 特点
a. 模型简单易理解:仅有维度和事实两种数据类型,站在业务的角度组织数据;
b. 性能好:维度建模使用可预测的标准框架,允许数据库系统和最终用户通过查询工具在数据方面生成强大的假设条件;
c. 可扩展性好:可容纳不可预知的新数据源和新的设计策略;在不改变模型粒度的情况下,方便的增加新的分析维度和事实,不需重载数据,也不需要为了适应新的改变而重新编码;
d. 数据冗余:构建事实表的星型模型前需要大量的数据预处理,当业务发生变化时,需要重新定义维度,进而重新进行维度数据的预处理,在处理过程中,产生大量的冗余数据;
- 核心概念
a. 业务板块:一种大的划分,各业务块中的业务重叠度极低、数据独立建设
b. 模型设计:以建模理论为基础,基于维度建模总线架构,构建一致性的维度和事实&#x