Dataphin规范建模

Dataphin规范建模

1、什么是Dataphin?

Dataphin是基于阿里巴巴OneData数据治理方法论内部实践的云化输出， 一站式提供数据采，建，管，用全生命周期的大数据能力，来提升数据治理水平，构建质量可靠，消费便捷，生产安全经济的数据中台产品。数仓规划是基于Dataphin建设数据中台的第一步，同时也是数据体系的顶层设计中至关重要的的一步。

OneData是阿里巴巴数据整合及管理体系，其方法论的核心在于：从业务架构设计到模型设计，从数据研发到数据服务，做到数据可管理，可追溯，可规避重复建设。即数据只建设一次

OneData方法论分为三个阶段：业务板块，规范定义，模型设计

业务板块：根据业务属性划分相对独立的的业务板块，业务板块的指标或业务重叠性比较小

规范定义：结合业务板块相关数仓建设经验设计出一套数据规范命名体系

模型设计：以维度建模理论为基础，基于维度建模总线矩阵，构建一致性的维度和事实

2. Dataphin数仓建模

数据仓库建模过程主要包含以下部分：维度，业务过程，原子指标， 衍生原子指标，业务限定，派生指标，事实逻辑表，维度逻辑表，汇总逻辑表，建模引擎等

• 规范定义-维度

  维度是由独立不重叠的数据元素祖成的数据集，构成可统计的对象，比如时间维度年，月，日，空间维度省，市，县等，维度是度量的环境，是我们观察业务的角度，让人从多角度，多方位，多层次去观察事物，在规范的定义名称中，常用dim_开头。

  Dataphin维度分为普通维度，层级维度，枚举维度，虚拟维度，需要设置唯一主键和主键的计算逻辑，维度建立后系统自动生成维度逻辑表，后面可对维度进行修改，继承，编辑和删除。

  时间分区逻辑基于来源主表字段，设定数据更新及获取时间周期的判断条件：在时间分区逻辑区域，编辑SQL代码，ds=${bizdate}

  属性（维度属性）：维度所包含的表示维度的列称为维度属性。维度属性是查询约束条件、分组和报表标签生成的基本来源，是数据易用性的关键

• 规范定义-业务过程

  业务过程是业务活动中不可拆分的事件，例如下单，支付和退款等，创建业务过程，即从顶层视角，规范业务活动中事件的内容类型和唯一性

• 逻辑表-维度逻辑表

  在维度创建后自动生成

• 逻辑表-事实逻辑表

  事实逻辑表是业务过程的模型化反应，它可以选择物理表和逻辑表作为来源主表

  度量：在维度建模中，将度量称为事实，将环境描述为维度，维度是用于分析事实所需要的多样环境。度量通常为数值型数据，作为事实逻辑表的事实。

  事实逻辑表的英文名称，命名规则为：fct_业务过程_自定义名称_di

  事物型的事实逻辑表，系统自动添加后缀为di
  周期快照型的事实逻辑表，系统自动添加后缀为df
  对应字段，可以添加度量、事实属性、关联维度

• 规范定义-指标

  指标分为原子指标和派生指标。原子指标是基于某一业务事件行为下的度量，是业务定义中不可再拆分的指标，是具有明确业务含义的名词，体现明确的业务统计口径和计算逻辑，例如支付金额。

  • 原子指标=业务过程+度量。
  • 派生指标=时间周期+修饰词+原子指标，派生指标可以理解为对原子指标业务统计范围的圈定

• 规范定义-业务限定

  统计的业务范围，筛选出符合业务规则的记录（类似于SQL中where后的条件，不包括时间区间）

• 规范定义-统计周期

  统计的时间范围，例如最近一天，最近30天等（类似于SQL中where后的时间条件）

• 规范定义-统计粒度

  统计分析的对象或视角，定义数据需要汇总的程度，可理解为聚合运算时的分组条件（类似于SQL中的group by的对象）。粒度是维度的一个组合，指明您的统计范围。例如，某个指标是某个卖家在某个省份的成交额，则粒度就是卖家、地区这两个维度的组合。如果您需要统计全表的数据，则粒度为全表。在指定粒度时，您需要充分考虑到业务和维度的关系。统计粒度常作为派生指标的修饰词而存在

• 规范定义-汇总逻辑表

  汇总逻辑表用于统计以统计粒度（维度）为主题的所有数据。前提条件是完成维度的创建，完成派生指标的创建。

  汇总逻辑表由一个特定的统计粒度（维度）和该统计粒度相关的统计指标（原子指标）组成。

  汇总逻辑表的统计指标（原子指标）具有相同的统计粒度（维度）。

  如果派生指标和汇总逻辑表的统计粒度一致，则系统会自动加入派生指标至汇总逻辑表。

  汇总逻辑表的统计指标包括以下两种来源：
  基于系统自动汇聚的派生指标，构建汇总逻辑表的统计指标。
  通过创建自定义指标的方式，构建汇总逻辑表的统计指标。

  汇总逻辑表的统计指标包括以下两种来源：
  基于系统自动汇聚的派生指标，构建汇总逻辑表的统计指标。
  通过创建自定义指标的方式，构建汇总逻辑表的统计指标。

Dataphin核心价值之一是定义无二义性，核心要求为命名、计算逻辑无重复。提交规范定义、逻辑表对象时，Dataphin会校验对象的英文名、中文名、计算逻辑完全没有重复。如果计算逻辑存在重复，则进行系统提示，避免误创建同名不同义、或者同义不同名的对象。