数仓-开发规范

数据模型规范

构建模型的原理：高内聚、低耦合，保证数据一致性，核心模型和扩展模型分离，公共逻辑下沉，数据可回滚，低成本高性能，命名清晰可理解。
高内聚和低耦合，最基本的软件设计方法论，将业务相近或者相关、粒度相同的数据设计成一个逻辑或者物理模型，将高概率同时访问的数据放在一起，将低概率访问的数据分开存储；
保证数据的一致性，数仓输出的指标定义需要统一，防止出现重复开发；
核心模型和扩展模型分离，准许扩展模型依赖核心模型并且支持个性化需求但是不能让核心模型依赖扩展模型，从而导致扩展模型出错引起核心模型的报错并且破坏核心模型的可维护性；
公共逻辑下沉，常发生在集市层，多处出现公共逻辑，需要把公共逻辑下沉到公共指标层或者公共维度层；
数据可回滚，数仓经常出现重跑、补数据的场景，模型需要支持在保证数据准确性的基础上实现补数据功能；
低成本高性能，适当的数据冗余可以换取查询性能，但是不能过度；
命名清晰可理解，表、任务的命名需要方便消费者理解和使用。

命名

层

表

测试表、中间表

字段

分区字段

以最近7天浙江新闻app阅读数为例，命名应该是zjxw_app_read_cnt_7d,如下图：

任务

脚本
注释

数据操作规范

对表数据或者结构需要修改的时候，必须先建一个备份表，以后缀 _BAK_20170907 备份，处理好以后再删除备份表。特别是猛犸大数据平台的线上和开发环境是共用数据和表，必须保证数据不能丢失。

表的主题规范

指标

一致性

数据质量管理

表级别监控，在每个etl任务下添加数据质量节点，对表中指标或者属性添加对应的规则判断，对于核心规则，直接报错阻止污染下游，对于预判规则，短信告警但是不阻止任务继续往下游执行；
对于复杂指标，需要通过多表关联的方式监控，这时候需要通过代码自定义监控规则，在monitor模块；
在脱离任务依赖之外每天定时运行监控任务，主要是为了防止出现其他任务级别bug的时候还能收到告警短信；
沉淀数据质量问题，通过统一的数据维护平台输出数据质量报告，以便从大局上监控整个数仓的数据质量情况。

任务上线

运维