引子
年底这两个月阿里云的dataworks进行了全面升级,很多细节有了不小的变化,感觉结构更加清晰了。
例如建表这个页面:
现在可以在这里配置数据仓库表的层级,主题层级比较好理解,就是主题表的分类。而下边的物理层级应该就是指ODS,DM,DW这类分级,物理分类没有太理解,会在后边进行补充。
下面是基于这个管理界面补充一下数据模型的相关知识。
数据模型
数据模型是指实体、属性、实体之间的关系对业务概念和逻辑规则进行统一的定义,命名和编码,主要描述企业的信息需求和业务规则,是业务人员和开发人员沟通的语言,是数据仓库设计工作的第一步。数据模型可以划分为概念模型、逻辑模型、物理模型。
概念模型
从定义上来说,概念模型是最高层次的数据模型,反映了数据仓库的主要主题和重要业务之间的关系。一般来说,在进行数据仓库系统设计和开发之前,设计开发人员和业务人员已经对概念模型达成了共识,因为概念模型反映的是核心的业务问题。概念模型设计步骤如下:
从业务需求中提取重要的业务数据主题,包括对业务数据主题的详细解释;
从业务数据主题的基础上进行数据主题域的划分,包括对数据主题域的详细解释;
划分主题域概念模型:根据数据主题域的划分,细化内部的组织结构和业务关系。
概念模型建模的流程大致可以划分成如下几个部分:通过对业务系统的详