数据产品_数据中台02_数仓模型和架构

名词解释

一些必须掌握的专有名词

基础层-ODS（Operational Data Store-操作型数据存储）

未经过加工处理的原始数据：记录事实的唯一版本，业务系统产生的原始数据，原封不动的同步到数仓。

中间层-CDM\EDW（Enterprise Data Warehouse-企业级数据仓库，Common Data Model，公共维度模型层）

 数仓核心意义，在中间层进行加工整合。

数据域：数据管理和数据整合的数据抽象集合。数据域相对稳定，主要用于中间层建设。

• dwd-明细整合层

• dws-高粒度汇总层，一般为主题宽表（面向主题）

• dim-维度表

• dwb-基础数据层（ods稍微清洗转化）

应用层-ADM（Application Data Mart-应用数据集市）

ADM 与 CDM 的区别：CDM是公共的，ADM是有些业务部门定制的，只有这个部门会去使用的数据，定制化相关的数据。

数据模型：

数仓模型：数仓中间层管理分类进行设计。

数据表的模型：表结构的设计

算法模型

数仓模型

ODS原始数据层：

从OLTP同步过来的原始数据，记录事实的唯一版本，一般不会进行改动、删除

DWD明细整合层：

ODS层数据-->etl加工-->DWD明细整合层。非结构化的数据进行结构化，数据清洗（缺失值错误值进行处理加工）。

dim层（维度表）：在储存数据的时候为了节省空间，很多汉字以码表的形式储存。比如北京上海转变成PEK、SHA。数据字典

DWS