命名规范
- 表命名规范表命名规则: {层次}{源系统表名}{保留位/delta与否}。
- 增量数据:ods_{库名}_{表名}_{id}。
- 全量数据:ods_{库名}_{表名}。
- ODS ETL过程的临时表:tmp_{临时表所在过程的输出表}_{从0开始的序号}。
- 按小时同步的增量表:ods_{库名}_{表名}_{ih}。
- 按小时同步的全量表:ods_{库名}_{表名}_{hh}。
ps:如果库名可能重复,可使用编码来代替库名
- 字段命名规范
- 字段默认使用源系统的字段名。
- 字段名与关键字冲突时,在源字段名后加上col,即源字段名col。
- 同步任务命名规范
- 任务名:和表名保持一致。
数据存储及生命周期管理规范
数据表类型 | 存储方式 | 最长存储保留策略 |
---|---|---|
ODS流水型全量表 | 按天分区 |
|
ODS镜像型全量表 | 按天分区 |
|
ODS增量表 | 按天分区 |
|
ODS ETL过程临时表 | 按天分区 | 最多保留最近7天分区。 |
DBSync非去重数据 | 按天分区 | 由应用通过中间层保留历史数据,默认ODS层不保留历史数据。 |
数据质量规范
- 每个ODS全量表必须配置唯一性字段标识。
- 每个ODS全量表必须有注释。
- 每个ODS全量表必须监控分区空数据。
- 仅有监控要求的ODS表才需要创建数据质量监控规则。
- 建议对重要表的重要枚举类型字段进行枚举值变化及枚举值分布监控。
- 建议对ODS表的数据量及数据记录数设置周同环比监控,如果周同环比无变化,表示源系统已迁移或下线。
欢迎评论