所谓数据模型

最新推荐文章于 2023-06-19 15:36:02 发布

王知无(import_bigdata)

最新推荐文章于 2023-06-19 15:36:02 发布

阅读量434

点赞数

文章标签：人工智能编程语言数据分析大数据数据仓库

点击上方蓝色字体，选择“设为星标”

回复”资源“获取更多资源

本文为您介绍数据模型架构规范。

声明

本文以及后续章节中介绍的非功能性规范均为建议性规范，产品功能无强制，仅供指导。

数据层次的划分

ODS：
Operational Data Store，操作数据层，在结构上其与源系统的增量或者全量数据基本保持一致。
它相当于一个数据准备区，同时又承担着基础数据的记录以及历史变化。其主要作用是把基础数据引入到MaxCompute。
CDM：
Common Data Model，公共维度模型层，又细分为DWD和DWS。
它的主要作用是完成数据加工与整合、建立一致性的维度、构建可复用的面向分析和统计的明细事实表以及汇总公共粒度的指标。
DWD：
Data Warehouse Detail，明细数据层。
DWS：
Data Warehouse Summary，汇总数据层。
ADS：
Application Data Service，应用数据层。

具体仓库的分层情况需要结合业务场景、数据场景、系统场景进行综合考虑。

数据分类架构

该数据分类架构在ODS层分为三部分：数据准备区、离线数据和准实时数据区。在进入到CDM层后，由以下几部分组成：

公共维度层：
基于维度建模理念思想，建立整个企业的一致性维度。
明细粒度事实层：
以业务过程为建模驱动，基于每个具体业务过程的特点，构建最细粒度的明细层事实表。
您可以结合企业的数据使用特点，将明细事实表的某些重要维度属性字段做适当的冗余，即宽表化处理。
公共汇总粒度事实层：
以分析的主题对象为建模驱动，基于上层的应用和产品的指标需求，构建公共粒度的汇总指标事实表，以宽表化手段来物理化模型。

数据处理流程架构

数据划分及命名空间约定

请根据业务划分数据并约定命名，建议针对业务名称结合数据层次约定相关命名的英文缩写，这样可以给后续数据开发过程中，对项目空间、表、字段等命名做为重要参照。

按业务划分：
命名时按主要的业务划分，以指导物理模型的划分原则、命名原则及使用的ODS project。
例如，按业务定义英文缩写，阿里的“淘宝”英文缩写可以定义为“tb”。
按数据域划分：
命名时按照CDM层的数据进行数据域划分，以便有效地对数据进行管理，以及指导数据表的命名。
例如，“交易”数据的英文缩写可定义为“trd”。
按业务过程划分：
当一个数据域由多个业务过程组成时，命名时可以按业务流程划分。
业务过程是从数据分析角度看客观存在的或者抽象的业务行为动作。
例如，交易数据域中的“退款”这个业务过程的英文缩写可约定命名为“rfd_ent”。

数据模型

模型是对现实事物的反映和抽象，能帮助我们更好地了解客观世界。数据模型定义了数据之间关系和结构，使得我们可以有规律地获取想要的数据。例如，在一个超市里，商品的布局都有特定的规范，商品摆放的位置是按照消费者的购买习惯以及人流走向进行摆放的。