数据建模规范

一、建模设计参考规范

1、建模原则

• 高内聚和低耦合

• 核心模型与扩展模型分离

• 公共处理逻辑下沉及单一

• 成本与性能平衡

• 数据可回滚

• 一致性

• 命名清晰、可理解表命名需清晰、一致，表名需易于使用方理解

2、建模评价指标

• 完善度

  • 汇总数据能直接满足多少查询需求

  • 跨层引用比列（业务方直接从dwd、dws、ads层直接拿到想要的数据）

  • 快速相应业务方的需求

• 复用度

  • 模型被读取并产出下游模型的平均数量（模型引用系数）

    • DWD平均模型引用系数一般低于2比较差，3以上相对比较好

• 规范度

  • 主题域归属

  • 分层信息

  • 脚本及任务命名规范

  • 表命名符合规范（清晰、一致、见名知意）

  • 字段命名是依赖于词根

• 稳定性

  • 能否保证日常的sla

  • 通过任务历史执行情况，自动判断任务预期可能性，进行破线预警

  • 失败和逾期报警

  • 评价指标

• 扩展性

  • 新增加的模型是否和老的模型出现冲突

• 准确性与一致性

  • 输出的指标数据质量能够保证

• 健壮性

  • 业务快速更新迭代不太影响底层模型

• 低成本

  • 衡量数仓成本的指标

    • 任务数

    • 存储成本

    • 模型依赖度

    • 计算时间成本

    • 计算资源成本

• 易用

  • 数仓提供的数据对于业务应用是易用的

  • 衡量数仓的易用性

    • 下游数据系统数

    • 数据产品PV、UV、使用时长

    • 数据用户占比

• 质量

  • 数据本身质量

  • 数据建设质量

    • 超时任务数

    • 失败任务数

    • ADS模型热度

    • ODS模型热度

    • DQC成功率

• 安全

  • 密集覆盖度

  • 高密表热度

二、数仓分层设计规范

1、数仓分层的作用

 - 清晰数据结构
 - 减少重复开发
 - 把复杂的问题简单化

2、数仓分层及分层定义

• 原始数据层：也成接口层，用于解决系统的数据快速介入的问题

• 操作数据层：基于原始数据，剔除重复冗余的数据，生成供下游可用的操作数据

• 明细数据层：建立相对完整、原子粒度的公共数据，加强数据共享、模型稳定与重用，面向未来需求具备良好的可适配性。

  • 以Kimball维度模型为理论基础建模

• 明细数据层 面向主题，提供最细粒度的、完整业务属性的、历史可追溯的公共原子数据

  • 围绕业务过程的原子指标进行建模

  • 提供公共一致性维度

• 汇总数据层：基于明细层数据进行适度的数据汇总，或进行跨主题、整合的拉通数据，为应用提供预加工数据，降低数据消费难度

  • 对公用、常用以及稳定的衍生/复合指标数据，沉淀在该层建设

  • 提供跨模块或跨主题的整合拉通数据及标签数据

  • 该层的模型设计应更多考虑消费的便利性以及查询性能

• 应用集市层：面向业务应用需求的个性化设计，通常使用宽表的形式或者服用明细层和汇总层的星型模型

  • 安全面向应用需求建设，个性化、频繁变动的衍生/复合指标数据

  • 进行基于应用的数据组装，如宽表集市、横表转纵表、趋势指标等，满足前端报表查询、分析图标、仪表盘等

  • 更多考虑满足应用功能使用，尽量减少数据访问时计算，提升查询性能，同时将事实拉宽，冗余常用属性字段

3、ADS层数据输出下游系统数据应用及建议方案

数仓ADS层加工完毕的数据，经传输工具推送给下游数据应用数据库，应避免数据出现读取断层。