数据仓库设计规范

本文详细介绍了数据仓库的设计规范,包括模型层次结构(ODS、DWD、DWB、DWS、ST/DIM),表的命名规范,建表与数据格式标准,以及Hadoop目录结构和PHP调度脚本要求。内容涵盖了日期格式、分区表、数据存储格式和常用HQL语句模板。
摘要由CSDN通过智能技术生成

数据仓库设计规范

一、模型层次结构

在这里插入图片描述

ODS 原始数据层

由业务方生成的原始数据,直接放入原始数据层

如果需要查原始日志可以从ODS层进行检查

DWD 仓库明细层

是对原始数据层的提炼和清洗,这一层注重对原始数据的清洗和简单汇总

DWB 仓库核心明细层

这一层主要是还是明细,在这一层中,可以和其他的维表进行关联,进而产生产品经理或分析师较为关注的字段

DWS 仓库核心汇总

在这一层中,主要是汇总信息,比如统计ID访问次数,PC登陆人数等汇总后的统计信息

ST / DIM 应用层

主要用于业务部门使用,该层是最后一层,也是终端展示层

二、表的命名规范

第一个字段:T 和TMP

T: T表为临时表的一种,一般T表只会保留最近一段时间的数据。现在大部分CBAS的表都为这种类型,保留最近的一段时间,该表多为日志明细表,数据量大,保存时间短,这种表保存时间短,该表内的汇总信息会长时间保存。

针对T表,后缀内容需要注意

分表后缀由两个字母组成,结构及含义如下:[时间周期 D, W, T, M, Q, Y][增量S/全量D]

DD:标示该表是按日运行生成,任何一个分区都保存当前的全量明细数据,即最新分区即可取到最新的全量数据。

MS:标示该表是按月运行生成,任何一个分区保存当前数据周期计算数据,即一个分区对应该数据日期当日的增量或

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值