数仓模型规范-(刷新/存储/时间维度/废弃归档规范)

一、刷新周期规范

刷新周 期	刷新周期命名	刷新周期缩写	描述
天	day	d	每天更新数据
周	week	w	每周更新数据
月	month	m	每月更新数据
季度	quarter	q	每季度更新数据
年	year	y	每年更新数据
实时	realtime	r	实时更新数据

二、存储策略规范

策略类型	后缀缩写
每日全量	_df
每日增量	_di
每周增量	_wi
每周全量	_wf
每月增量	_mi
每月全量	_mf
以此类推	。。。
小时分区	_hh,_hi,_hf

注释：小时分区表，根据同步方式的选择，可以分为当天零点截止当天小时分区落盘(_hh)，每小时增量(_hi),每小时全量(_hf)

例如当前分区dt=2019-05-28/hh=10,数据接入时间 2019-01-01

• 截止当天小时分区落盘(_hh):    数据创建时间落在 2019-05-28零点到10点的时间范围(包含10点的)的增量数据
• 每小时增量(_hi):     数据创建时间落在2019-05-28的10点上的增量数据
• 每小时全量(_hf):    数据从 2019-01-01到2019-05-28的11点前(包含10点的)的所有快照全量数据

三、 时间维度规范

 

四、废弃和归档策略规范

（一）废弃条件

 1. 临时需求，数据表已经不在使用

 2. 旧表数据已经停止更新3个月以上，且无人使用

 3. 无bi报表等下游依赖

 
（二）废弃表流程

 1. 数仓同学定期对库表进行梳理

 2. 梳理表的血缘关系，确定无下游依赖

 3. 发送邮件给所有需求方进行确认，并抄送xx及对应业务线领导

 4. 将待废弃的表发送给xx，由统一进行归档处理

 
（三）归档策略

    将表内数据进行归档存储，对表结构进行删除

 
（四）数据恢复方式

    创建表结构，映射数据路径

 

参考：2.1数仓模型设计规范-(刷新/存储/时间维度/废弃归档规范)_stonehigher125的专栏-CSDN博客