数据仓库分层

一、数据仓库分层

1. ODS层：原始数据层，存放原始数据，直接加载原始日志、数据，数据保持原貌不做处理
2. DWD层：对ODS层数据进行清洗（去除空值，脏数据，超过极限范围的数据）、维度退化脱敏等
3. DWS层：以DWD为基础，按天进行轻度汇总。
4. DWT层：以DWS为基础，按主题进行汇总
5. ADS层：为各种报表提供数据

二、数据仓库为什么要分层

1. 把复杂问题简单化，将复杂的任务分解成多层来完成，每一层只处理简单任务，方便定位问题。
2. 减少重复开发，规范数据分层，通过中间层数据，能够减少极大的重复计算，增加一次计算结果的复用性。
3. 隔离原始数据：不论是数据的异常还是数据的敏感性，使真实数据与统计数据解耦开。

三、数据集市与数据仓库概念

1. 数据集市（Data Market），现在市面上的公司和书籍都对数据集市有不同的概念。
2. 数据集市则是一种微型的数据仓库，它通常有更少的数据，更少的主题区域，以及更少的历史数据，因此是部门级的，一般只能为某个局部范围内的管理人员服务。
3. 数据仓库是企业级的，能为整个企业各个部门的运行提供决策支持手段。