数仓建设方法论

一、数仓分层

1.1分层概念

ods：原始数据层，存放原始数据。

dwd：明细数据层，对原始数据进行清洗，如去空值、日期格式转换、数据脱敏、脏数据处理等。

dws：数据服务层，对明细数据层进行轻度汇总。

dwt：数据主题层，以dws层为基础，进行数据累积汇总。

ads：数据应用层，为数据应用提供数据，指标等。

1.2 数仓分层的意义

1、把复杂的问题简单化。

2、减少重复研发。

3、使用数据与原始数据解耦。

二、数仓理论

2.1关系建模与维度建模

2.1.1关系建模

关系建模也就是我们所说的范式建模，一般OLTP系统采用范式建模，减少数据重复。

第一范式：属性不可分割。

第二范式：没有不完全函数依赖。

第三范式：没有传递函数依赖。

2.1.2维度建模

维度建模一般应用于OLAP系统，为了方便快速查询大量数据，避免大数据量的情况下跨表查询。

维度表：事件的描述信息。

事实表：事实表中每行数据代表一个事件。

星型模型&雪花模型

2.1.3