数据仓库规范设计

1、为什么要进行规范设计

无规矩、不方圆。规范设计是在具体开发工作之前制定的，过程中不断进行完善。目的在于约束 N 个人对齐认知，按照一个标准或流程进行开发，以保证数据一致性，流程清晰且稳定。

一个良好的规范设计，应当起到以下作用：提高开发效率，提升质量，降低沟通对齐成本，降低运维成本等。

下面将带领大家盘一盘数据仓库有哪些规范，从中挑选几个重点细说：

• 设计规范

            逻辑架构、技术架构、分层设计、主题划分、方法论

•  命名规范

            各层级命名、任务命名、表命名、字段命名、指标命名等 

• 模型规范

            建模方法、建模工具、血缘关系、维度退化、一致性维度、元数据管理

• 开发规范

            脚本注释、字段别名、编码规范、脚本格式、数据类型、缩写规范 

• 流程规范

            需求流程、工程流程、上线流程、调度流、调度和表生命周期管理

2、设计规范 - 指标

• Step1：面向主题域管理

为了提高指标管理的效率，你需要按照业务线、主题域和业务过程三级目录方式管理指标。

• Step2：划分原子指标和派生指标

原子指标 + 原子指标  = 派生指标

• Step3：进行指标命名规范

需要遵循两个原则：易懂与统一

1. 易懂，就是看到指标的名称，就可以基本判断这个指标归属于哪个业务过程；
2. 统一，就是要确保派生指标和它继承的原子指标命名是一致的。

对于原子指标，标名称适合用“动作 + 度量”的命名方式（比如注册用户数、购买用户数）

对于派生指标，应该严格遵循“时间周期 + 统计粒度 + 修饰词 + 原子指标”的命名方式。（比如30天内黑卡会员购买用户数）

• Step4：分级管理

指标确实是多，如果一视同仁去管理其实很难，所以可以按照下面的原则进行等级划分：

1. 一级指标：数据中台直接产出，核心指标（提供给公司高层看的）、原子指标以及跨部门的派生指标。
2. 二级指标：基于中台提供的原子指标，业务部门创建的派生指标。

3、命名规范 - 表命名

3.1 常规表

常规表是我们需要固化的表，是正式使用的表，是目前一段时间内需要去维护去完善的表。

规范：分层前缀[dwd|dws|ads|bi]_业务域_主题域_XXX_更新频率|全量/增量。 

业务域、主题域我们都可以用词根的方式枚举清楚，不断完善，粒度也是同样的，主要的是时间粒度、日、月、年、周等，使用词根定义好简称。

建议格式： dwd_xxx_xxx_da

• di ：每日增量
• da：每日全量
• mi：每月增量
• ma：每月全量

3.2 中间表

中间表一般出现在Job中，是Job中临时存储的中间数据的表，中间表的作用域只限于当前Job执行过程中，Job一旦执行完成，该中间表的使命就完成了，是可以删除的（按照自己公司的场景自由选择，以前公司会保留几天的中间表数据，用来排查问题）。

建议格式：mid_table_name_[0~9]

table_name是我们任务中目标表的名字，通常来说一个任务只有一个目标表。这里加上表名，是为了防止自由发挥的时候表名冲突，而末尾大家可以选择自由发挥，起一些有意义的名字，或者简单粗暴，使用数字代替，各有优劣吧，谨慎选择。

3.3 临时表

临时表是临时测试的表，是临时使用一次的表，就是暂时保存下数据看看，后续一般不再使用的表，是可以随时删除的表。

建议格式：tmp_xxx

只要加上tmp开头即可，其他名字随意，注意tmp开头的表不要用来实际使用，只是测试验证而已。

3.4 维度表

维度表是基于底层数据，抽象出来的描述类的表。维度表可以自动从底层表抽象出来，也可以手工来维护。

建议格式：dim_xxx

维度表，统一以dim开头，后面加上，对该指标的描述，可以自由发挥。

4、开发规范

1	表和列的注释释是否有缺失，复杂计算逻辑是否有注释释
2	任务是否支持多次重跑而输出不变，不能有insert into语句
3	分区表是否使用分区键过滤并且有有效裁剪
4	外连接的过逑条件是否使用正确，例如在左连接的where语句存在右表的过滤条件
5	关联小表，是否使用/*+ map join * / hint
6	不允许引用别的计算任务临时表
7	原则上不允许存在一个任务更新多个目标表
8	是否存在笞、迪卡尔积
9	禁止在代码里面使用drop 111ble、creat它111ble、renaiue 111ble、chan零column等ddl语句
10	使用动态分区时，有没有检查分区键值为NULL的情况
11	DQC质量监控规则是否配置，严禁棵奔
12	代码中有没有进行适当的规避数据倾斜语句
13	Where条件中is null语句有没有进行空字符串处理

5、流程规范

根据阿里流程规范，本文将数据仓库研发流程抽象为如下几点：

1. 需求阶段：数据产品经理应如何应对不断变化的业务需求。
2. 设计阶段：数据产品经理、数据开发者应如何综合性能、成本、效率、质量等因素，更好地组织与存储数据。
3. 开发阶段：数据研发者如何高效、规范地进行编码工作。
4. 测试阶段：测试人员应如何准确地暴露代码问题与项目风险，提升产出质量。
5. 发布阶段：如何将具备发布条件的程序平稳地发布到线上稳定产出。
6. 运维阶段：运维人员应如何保障数据产出的时效性和稳定性。