数据分层
1 ods层:近源数据层,表结构与源系统表结构高度相似,通常在ods层主要会做字段的筛选,枚举值转换,编码统一,异常&缺失数据处理等操作。
2 dw层:中间层,按主题建模(域->主题)的明细数据层,数据粒度与ods层一致。
3 dm层:数据集市层。集市层是按照业务主题、分主题构建出来的、面向特定部门或人员的数据集合。
数据建模方式:
1 维度建模源于Kimball提出的总线式的自下而上(DM-DW)的数据仓库架构。
2 范式建模源于Inmon提出的集线器的自上而下(EDW-DM)的数据仓库架构。
当下的数据仓库模型架构设计中,dw层通常会采用范式建模,并且可以根据实际情况允许存在一些冗余。dm层通常会采用维度建模,因为采用维度建模构建出来的数据模型更加符合普通人的认知、易于被普通人所理解,从而有利于数据的推广使用。