数仓架构笔记（一）

一、为什么要建立数仓

1.数据存储在互不兼容的系统之中
2.关系型数据库一般不存日志数据
3.决策者需要从商业角度分析数据，关系型数据库不合适

二、三范式建模

第一范式：保证列的原子性，每一列都是不重复的，不可再拆分 的原子列。
第二范式：保证行的原子性，每一行都有唯一的主键，其他字段的值与主键一一对应。
第三范式：保证表的原子性，每张表中的数据不会冗余，一旦有冗余字段，就需要拆一张表出来，用外键与主表关联。

三、数据仓库建模

数据仓库建模方法论可分为：维度建模、范式建模、Data Vault模型、Anchor模型。

1.维度建模

由Ralph Kimball提出，维度建模主要面向分析场景（OLAP，On-line Analytical Processing）

1. 事实表（维度列+度量列）
2. 维度表：存储描述度量数据的各个方面的信息。维度表主要包含一个主键和各种维度字段，维度字段称为维度属性。
3. 星型模型：一个事实表对应多个维度表
4. 星座模型：多个事实表公用维度表
5. 雪花模型：事实表对应多个维度表，维度表对应下一级维度表
6. 星型模型和雪花模型比较：

• 星型模型是违范式模型，雪花模型是范式模型
• 星型模型分析效率高于雪花模型
• 企业数据仓库多用星型模型和星座模型

四、数据仓库分层

• ODS层（Operational Data Store）：操作数据层（贴源层、数据引入层），将不同系统的数据汇聚过来。
• DW层（data warehouse 数据仓库）：
  • DWD层（data warehouse detail 数据明细层）：数据清洗
  • DWM层（data warehouse middle 数据中间层）：聚合、统计、计算
  • DWS层（data warehouse service 数据服务层）：按照主题业务组织主题宽表，用于OLAP分析
• DM层（Data Mart 数据集市层）：整合汇总报表数据
  范式建模：源数据、ods、dwd
  维度建模：DWM、DWS、DM
  分层的好处：1.清洗的数据结构 2.减少重复开发 3.统一数据出口 4.简化问题