电商数据仓库理论

数据仓库分层

为什么要分层

• ODS（Operation Data Store）
  原始数据层。存放原始数据，直接加载原始日志、数据，数据保持原貌不作处理

• DWD（Data Warehouse Detail）
  明细数据层。对ODS层数据进行清洗（去除空值，脏数据，超过极限范围的数据）、维度退化、脱敏等。

• DWS（Data Warehouse Service）
  以DWD为基础，按天进行轻度汇总

• DWT（Data Warehouse Topic）

  以DWS为基础，按主题进行汇总

• ADS（Application Data Store）

  ADS层，为各种统计报表提供数据

？ 数据分层的原因

1. 把复杂问题简单化

   将复杂的任务分解成多层来完成，每一层只处理简单的任务，方便定位问题。

2. 减少重复开发

   规范数据分层，通过中间层数据，能够减少极大的重复计算，增加一次计算结果的复用性。

3. 隔离原始数据

   不论是数据的异常还是数据的敏感性，使真实数据与统计数据解耦开。

数据集市与数据仓库概念

​ 数据集市（Data Market），现在在市面上的公司和数据对数据集市有不同的概念。
​ 数据集市则是一种微型的数据仓库，它通常有更少的数据，更少的主题区域，以及更少的历史数据，因此是部门级别的。一般只能为某个局部范围内的管理人员服务。
​ 数据仓库是企业级的，能为整个企业各个部门裕兴提供决策的支持手段。