数据仓库设计规范
一、模型层次结构
ODS 原始数据层
由业务方生成的原始数据,直接放入原始数据层
如果需要查原始日志可以从ODS层进行检查
DWD 仓库明细层
是对原始数据层的提炼和清洗,这一层注重对原始数据的清洗和简单汇总
DWB 仓库核心明细层
这一层主要是还是明细,在这一层中,可以和其他的维表进行关联,进而产生产品经理或分析师较为关注的字段
DWS 仓库核心汇总
在这一层中,主要是汇总信息,比如统计ID访问次数,PC登陆人数等汇总后的统计信息
ST / DIM 应用层
主要用于业务部门使用,该层是最后一层,也是终端展示层
二、表的命名规范
第一个字段:T 和TMP
T: T表为临时表的一种,一般T表只会保留最近一段时间的数据。现在大部分CBAS的表都为这种类型,保留最近的一段时间,该表多为日志明细表,数据量大,保存时间短,这种表保存时间短,该表内的汇总信息会长时间保存。
针对T表,后缀内容需要注意
分表后缀由两个字母组成,结构及含义如下:[时间周期 D, W, T, M, Q, Y][增量S/全量D]
DD:标示该表是按日运行生成,任何一个分区都保存当前的全量明细数据,即最新分区即可取到最新的全量数据。
MS:标示该表是按月运行生成,任何一个分区保存当前数据周期计算数据,即一个分区对应该数据日期当日的增量或