一、数据仓库分层
- ODS层:原始数据层,存放原始数据,直接加载原始日志、数据,数据保持原貌不做处理
- DWD层:对ODS层数据进行清洗(去除空值,脏数据,超过极限范围的数据)、维度退化脱敏等
- DWS层:以DWD为基础,按天进行轻度汇总。
- DWT层:以DWS为基础,按主题进行汇总
- ADS层:为各种报表提供数据
二、数据仓库为什么要分层
- 把复杂问题简单化,将复杂的任务分解成多层来完成,每一层只处理简单任务,方便定位问题。
- 减少重复开发,规范数据分层,通过中间层数据,能够减少极大的重复计算,增加一次计算结果的复用性。
- 隔离原始数据:不论是数据的异常还是数据的敏感性,使真实数据与统计数据解耦开。
三、数据集市与数据仓库概念
- 数据集市(Data Market),现在市面上的公司和书籍都对数据集市有不同的概念。
- 数据集市则是一种微型的数据仓库,它通常有更少的数据,更少的主题区域,以及更少的历史数据,因此是部门级的,一般只能为某个局部范围内的管理人员服务。
- 数据仓库是企业级的,能为整个企业各个部门的运行提供决策支持手段。