离线数据仓库第一讲

1.为什么要分层

1.把复杂问题简单化:将复杂的任务分解成多层来完成，每一层只处理简单的任务，方便定位问题。
2.减少重复开发:规范数据分层，通过的中间层数据，能够减少极大的重复计算。
3.计算结果的复用性:真实数据与统计数据解耦开。

1.1 数据仓库的架构

1.2 数据仓库分层和每层的概念

ODS层：原始数据层，存放原始数据。
DWD层：对ODS层数据进行清洗（去除空值，脏数据，超过极限范围的数据）、脱敏(敏感信息)等。保存业务事实明细，一行信息代表一次业务行为，例如一次下单。（业务事实)
DIM层:维度层，保存维度数据，主要是对业务事实的描述信息，例如何人，何时，何地等
DWS层:以DWD为基础，按天进行轻度汇总。一行信息代表一个主题对象一天的汇总行为，例如一个用户一天下单次数
DWT:以DWS为基础，对数据进行累积汇总。一行信息代表一个主题对象的累积行为，例如一个用户从注册那天开始至今一共下了多少次单。
ADS层:为各种统计报表提供数据

2.数据集市和数据仓库区别

数据集