一、刷新周期规范
刷新周 期 | 刷新周期命名 | 刷新周期缩写 | 描述 |
天 | day | d | 每天更新数据 |
周 | week | w | 每周更新数据 |
月 | month | m | 每月更新数据 |
季度 | quarter | q | 每季度更新数据 |
年 | year | y | 每年更新数据 |
实时 | realtime | r | 实时更新数据 |
二、存储策略规范
策略类型 | 后缀缩写 |
每日全量 | _df |
每日增量 | _di |
每周增量 | _wi |
每周全量 | _wf |
每月增量 | _mi |
每月全量 | _mf |
以此类推 | 。。。 |
小时分区 | _hh,_hi,_hf |
注释:小时分区表,根据同步方式的选择,可以分为当天零点截止当天小时分区落盘(_hh),每小时增量(_hi),每小时全量(_hf)
例如当前分区dt=2019-05-28/hh=10,数据接入时间 2019-01-01
- 截止当天小时分区落盘(_hh): 数据创建时间落在 2019-05-28零点到10点的时间范围(包含10点的)的增量数据
- 每小时增量(_hi): 数据创建时间落在2019-05-28的10点上的增量数据
- 每小时全量(_hf): 数据从 2019-01-01到2019-05-28的11点前(包含10点的)的所有快照全量数据
三、 时间维度规范
四、废弃和归档策略规范
(一)废弃条件
1. 临时需求,数据表已经不在使用
2. 旧表数据已经停止更新3个月以上,且无人使用
3. 无bi报表等下游依赖
(二)废弃表流程
1. 数仓同学定期对库表进行梳理
2. 梳理表的血缘关系,确定无下游依赖
3. 发送邮件给所有需求方进行确认,并抄送xx及对应业务线领导
4. 将待废弃的表发送给xx,由统一进行归档处理
(三)归档策略
将表内数据进行归档存储,对表结构进行删除
(四)数据恢复方式
创建表结构,映射数据路径