数据仓库分层:
ODS层:原始数据层,存放原始数据,数据保持原貌不作处理
DWD层:对ODS层数据进行清洗(去除空值,脏数据,超过极限范围的数据)、脱敏等。保存业务事实明细。
DIM层:维度层,保存维度数据,主要是对业务事实的描述信息
DWS层:以DWD层为基础,按天进行轻度汇总。一行信息代表一个主题对象一天的汇总行为。
DWT层:以DWS层为基础,对数据进行累计汇总。一行信息代表一个主题对象的累计行为。
ADS层:为各种统计报表提供数据。
为什么要分层:
1)把复杂问题简单化:将复杂的任务分解成多层来完成,每一层只处理简单的任务,方便定位问题。
2)减少重复开发:规范数据分层,通过中间层数据,能够减少极大的重复计算,增加 一次计算结果 的复用性。
3)隔离原始数据:无论是数据的异常还是数据的敏感性,使真实数据与统计数据解耦开。