数据建模_DMBOK 06|数据建模与设计

092c980b3ef3cb60e3f215c56fb06be9.gif

数记达摩院

提供高效能数据知识体系学习解决方案

de3d85f466912f05c6d60ca8a66fbf4c.gif

您好,欢迎来到数记达摩院,我是王兵。今天我们来一起学习,DMBOK数据管理知识体系 第五章 数据建模与设计。
开始之前,我们先回顾一下上节课讲述的内容。上一节介绍了第四章主要从数据架构相关的基本概念、活动、工具和技术、实施指南和度量进行介绍。

今天,我解读第五章主要内容,主要主要介绍数据模型的目的、数据建模中的基本概念、常用词汇和数据建模的目标和原则。下面,对相关知识点逐一说明。

01

简介

1.数据建模,发现、分析和确定数据需求的过程,接下来通过数据模型的精确表示,呈现这些数据需求。
2.数据建模,是数据管理的关键组织部分。
3.数据建模过程,需要发现、记录,且将数据分析和组合在一起,是设计数据如何组合的过程。
4.数据模型,能够清晰的让组织了解所拥有的数据资产。

7171487dcc19f8e7448755b5f6cb5188.png

表示数据的方法

六种常见的方案:关系、维度、面向对象、基于事实、基于时间和NoSQL
1.数据模型的三个层次:概念模型、逻辑模型和物理模型
2.数据模型构造组件:实体、属性、关系、键和事实
3.数据模型评审,对数据模型进行审核,且获得维护批准。

b981f4c476252bc782ecb6a12104a582.png

02

数据建模与设计知识域

1.数据模型包含数据使用者最重要的元数据。
2.数据建模过程中发现的元数据对于数据管理各领域至关重要,如:数据仓库、数据血缘分析等。

2cd3bd2a39e386bd4bc114a37febb334.png

03

业务驱动因素

数据模型对有效的数据管理至关重要
1.提供围绕数据的业务术语表
2.获取且记录与组织有关的数据和系统说明
3.项目中主要的沟通工具
4.创建、集成和更新应用系统的基础

55bb9796e1e00bc9117d97c09f1cdbba.png

04

目标和原则

1.数据建模的目标,确认和记录不同视点的共同理解,使应用系统更为符合当前和未来业务需求,作为数据管理和数据治理计划的基础广泛应用。
2.良好的数据建模可以降低维护成本,且增强未来新的应用系统的可复用性,进而降低维护成本。
3.数据模型是元数据的主要呈现方式。

0b018b05d3ec632bd114c0e020d683ad.png

05

确认和记录不同视点的好处在于:

1.规范化,数据模型记录了数据规则及其关系的描述,可以用于评估数据接受业务规则的影响,以及适用于当前及其预期目标状态。正式定义了数据符合规范性结构,减少了访问和存储数据时,发生的数据异常问题。通过数据的结构规范和关系描述,使得数据在应用中更为易用。
2.范围定义,数据模型帮助理解数据的上下文边界,以及支撑外购应用系统、项目、计划或者现有系统实现。
3.知识归档,数据模型可以通过明确的形式,来获取和存储关于应用系统和项目中的组织的信息。可以为未来提供文档化支撑,帮助组织了解业务域、应用系统和数据结构的影响。数据模型可以复用和映射,帮助业务人员、项目人员、数据分析人员、数据建模人员、数据开发人员等更好的理解数据,可以通过数据地图,呈现数据景观,帮助理解信息环境。

97cfc74c8b5140278772268180588a83.png

06

基本概念

不同类型数据的数据建模、数据模型基本组件、不同情况下不同数据模型的定义、开发及其原因。

1ba7043962fe94c4b6f1cc857a0b2e53.png

数据建模和数据模型

1.数据建模,通常在系统开发和维护中,称之为系统开发生命周期SDLC。也可以是业务、数据架构、主数据和数据治理过程计划执行中的数据建模。这里不是指最终的数据库,而是组织对数据的理解。
2.模型,表示存在的东西或某种东西的存在的形式。模型,可以是一个或多个图表。
3.模型图,人们能够理解的内容或是符号。地图,通过组织获得的结构图、蓝图,是模型的示例。
4.数据模型,描述组织理解的整理形成的数据或是预期期望的数据。数据模型包含带文本标签的符号,这些符号可以直观的表示与数据建模相关的数据。
5.数据模型,是建模过程形成的数据规范和数据定义文档,是业务人员、IT人员、数据分析人员、数据库设计和开发人员沟通和传递数据需求的主要介质。

a664f5959737b9c2060b66732e906823.png

数据建模的数据类型

四种数据类型,不同的数据类型反映了组织需要数据模型的优先级
1.类别信息,用于对事物进行分类和分配的类别数据。如:市场类别、客户类别、颜色、型号、尺寸等
2.资源信息,资源的基本情况、执行操作流程。如:产品、客户、供应商、组织等
3.业务信息,运营流程过程中创建的数据。如:客户订单、供应商发票、现金支付等
4.交易信息,通过销售系统生成的交易信息。如:社交媒体、互联网交互、传感器、个人穿戴设备(GPS、RFID、WIFI)等,聚合此类数据可用于派生其他数据,且进行趋势分析。

77a6fc1383a2df424d84847a3d46f346.png

数据模型组件

1.不同的数据模型通过不同的约定来表示数据。
2.通常数据模型组件,包含的基本构建块是实体、属性、关系和域。

5000070692e887a342d5372681fbe2b8.png

实体

1.实体,定义与区别其他事物边界。
2.实体,数据建模中是收集和整理事物的信息。
3.实体,通常以名词形式,被认为是一个基本问题的答案,如:谁、什么、何时、何地、为什么和如何等。

02b2980ab8c17e8a4ca8a7fa1f51c6a7.png

实体别名

1.实体,可以是通用的术语,常见的实体会表示某类事物,如:王兵是实体,而员工/雇员就是实体类别。如今,通常使用员工/雇员是实体术语,王兵则是实体的实例。
2.实体,是特定实例的出现次数或值。实体学生,是多个学生的实例。
3.实体别名,可以根据不同方案变化,关系模型中常常解释为实体术语。在维度建模中,解释为维度术语和事实表。在面向对象建模中,使用类术语和对象。在基于时间建模中使用,集线器术语、链路、卫星等。在NoSQL数据建模中使用文档术语或是节点术语。
4.实体别名,可以根据详细颗粒度程度而不同。如:概念模型层面的实体可以是概念、术语;逻辑模型层面可以是细粒度的术语;物理模型层面可以根据数据库技术的不同,采用相关的术语。

57d3aae83d80ad94288b4ba8a15b409b.png

实体的图形表示

数据模型中实体可以被表示为矩形、圆角矩形,名称在其中。

42fc949ad307f9857802c866e2e6fdb7.png

实体的定义

实体定义是任何数据模型的商业价值的重要文档,也称之为核心元数据。

高质量的定义,阐明了业务术语表的清晰的含义,为管理业务规则下的实体关系,提供了严谨性的说明。高质量的数据定义特征:
1.清晰的,易于理解和掌握,没有模糊的缩略词或无解释含混不清的术语
2.准确的,定义准确、正确的实体描述,由业务专家审定,确保其准确性
3.完整的,定义范围完整,如:代码值示例,标识符的唯一性等

56d3e1bfe42e7a13707b331264abc1db.png

关系

关系是实体之间的关联关系。关系的获取,概念模型中体现实体的高层级关系,逻辑模型中体现的详细的交互关系,物理层实体体现的具体的约束环境下关系。

345bc6362c56aa443c0e231818fee2f1.png

关系别名

关系可以根据方案变化选择使用其他名称。如:关系建模、维度建模、NoSQL会根据不同程度的细节使用术语描述关系。概念模型和逻辑模型层级的关系,称之为关系;物理模型层级称之为约束或引用,具体取决于数据库技术。

815811a4fd726831675ebe922b298d75.png

关系的图形表示

关系在数据建模的呈现方式为“线”。示例中体现的是学生与课程之间的关系规则,以及教师与课程之间的规则。

d2c3542efe67047b2483462803fb6452.png

关系基数

两个实体之间的关系中,关系基数来源于实体中有多少个与另外一个实体的数量关系。数据规则通过关系基数指定。基数的选择,即:零、一个或多个,三种基数的关系体现。

示例中体现业务规则
1.每名学生都可以学习一门或多门课程
2.每门课程都可以由一名或多名学生学习

db2959a989702ecf106a9f077404c5f9.png

关系参数

关系中的实体数量关系“参数”,如:一元、二元和三元关系
1.一元关系,就是仅仅涉及一个实体。一对多递归关系体现层级结构,多对多关系体现网络结构。
2.二元关系,常见的二元关系涉及两个实体,如:学生和课程二元关系实体。
3.三元关系,三元组包含三个实体的关系。如:基于事实的建模,学生在某个学期选修的课程。

872478665e7c223bdac415dc8bce27ce.png

外键

外键,用于逻辑或物理的关键建模中的关系表示。通过数据建模工具或数据库技术,创建两个数据实体之间的关系外键,考虑两个实体的相互依赖性。如:关系外键(学生编号、课程代码)。

0fb4724dcbe2d885aa351f311eb3b4f1.png

属性

属性,实体的描述、测量和标识。属性可能会有值域。实体属性,物理对应的是表、视图、文档、图像、文件中的列、字段、标记或节点。

d4f0ead3f102816f02f03fda5d3c4456.png

属性的图形表示

数据模型中属性被表示为视图矩形框内的列表。

f02c88e68b33d05d0b32a06be1008e28.png

身份标识

标识符,一组唯一定义实体实例的一个或多个属性。

aa93f88ffdf2c314ea17bc54090620b1.png

键类型说明

简单键,唯一标识实体实例的一个属性。如:产品代码、身份证号码代理键,是简单键的示例,表示唯一标识符。如:计数器复合键,一组两个或多个属性,他们一同唯一表示实体实例。如:电话号码(区号+本地号)

45860bead51cad02c64c153cba39e110.png

功能型键

超级键,唯一标识实体实例的属性集。候选键,标识所属实体实例的一个或多个属性的最小集合。实体可以具有多个候选键。可以是业务键,也称自然键。业务键,业务人员用于检索单个实体的一个或多个属性。也作为备用键。主键,实体唯一标识符的候选键。实体可以包含多个候选键,也可以只有一个候选键作为实体的主键。通常是代理键。

b1e9e5be0f81e88850faa38aac3e70f7.png

识别与非识别关系

独立实体,主键仅属于该实体的属性的实体。关系建模中表示为“矩形”从属实体,主键包含来自另外实体的一个或多个属性的实体。关系建模中表示为“圆角矩形”识别关系,主键作为外键,迁移至另一个实体作为主键的关系。非表示关系,主键作为外键,迁移至另一个实体作为非主要属性的关系。

ce499b8f55089efccebc1a6d4b2343d6.png

,可以分配属性的完整的值域集。,提供标准化属性特征方法。,所有的值均为有效值。域以外的值为无效值。可以称之为“限制域”或“约束”。规则方面体现为格式、逻辑或两者相关。

域,定义方式
1.数据类型,指定域的属性的标准数据类型域。如:Integer、Data数据类型。
2.数据格式,使用模板或掩码(地区编码)、字符限制(中文、字母)定义有效值。
3.列表,一组有限值域,如:下拉菜单功能列表(红灯、绿灯、黄灯)
4.范围,允许相同数据类型的所有值,最大值/最小值之间的域,如:压力在2~5Mpa
5.规则,“值”必须遵守规则来定义域的有效性。包括:值域计算值的关系,以及其他属性值的比较规则等。如:签署合同价必须小于批复的预算。

d410193aa919c8e1fbca6871af38e4d0.png

数据建模方案

表示数据的流转建模方案:关系建模、维度建模、面向对象建模、基于事实建模、基于时间建模和NoSQL建模。

9d2a915889ac5be73eae7b54217de6d6.png

关系建模

关系理论,提供根据二维关系有效管理数据,源于对数学集合论的理解。
关系模型设计目的,准确表达业务数据,且存储一个消除冗余的事实。
关键建模中实体间的关联表示法,如:信息工程IE、信息建模IDEF1x最为常见。

dbc4e8745c1c842b323a1c1106582a9c.png

维度建模

维度建模,数据被重构优化,用于满足数据的查询和分析。维度建模侧重大量数据分析,相反事务型处理则考虑优化用于快速处理各项事务。维度建模,专注于捕捉特定业务流程下的业务问题分析。维度建模的表示方式,图表符号“轴”。关系模型和维度模型在概念模型方面都是基于相同的业务。区别在于关系建模侧重获取业务规则,维度建模则是回答业务问题所需的各种途径。

24bac922867ab2651b30e042bfe8a087.png

事实表

事实表,在维度建模中的事实表的行对应于特定的测量,如:量、数量、计数。一些测量是算法的结果,这里强调元数据的正确性和使用至关重要。

83450ca17d3f87da6c3738adde860f25.png

维度表

维度表,表示业务的主要对象,以文本形式描述。维度作为查询或报告依据,作为事实表的入口或链接。
维度表,非规范化。维度必须具备每行的唯一标识符。识别维度表的键的方法:代理键和自然键。
维度,具有不同变化速率属性。缓慢变化、根据变化而变化、类型变化。

三种主要变化类型:
1.覆盖,新值覆盖旧值
2.新行,新值插入新行,旧行标记为非当前行。
3.新列,值的多个实例在同一行的列中,新值表示将序列中插入一个新值预留空间,最后的值被舍弃。

caa46ccefd15019c41f7b171d2b71aa7.png

雪花模型

雪花模型,将星型模型中的单表维度结构化、规范化处理为分层或网状的建模术语。

bc2a24879da5d7fb744b1fe03e725cac.png

粒度

粒度,表示事实表中单行数据的含义及描述,这里指行的最详细的信息。
定义事实表的粒度,维度设计是关键步骤,如:维度建模中度量员工打卡,粒度可以是员工、部门、时间。

8e59415b9e072e5c243ef939badf6011.png

一致维度

一致维度,维度建立在基于组织一致性的基础上,不仅仅是特定的项目。因此,跨维度建模的维度具有共享性,且保证一致的术语和值。

8305b45240bc522508f10d5a789ce364.png

一致事实

一致事实,事实实现跨领域术语定义的标准化和一致性。不同的业务可以通过不同方式使用相同的术语。

842974a3081de5c6aec90493f3404bcf.png

面向对象UML

UML,统一建模语言,UML类模型指定类(实体类型)及其关系类型。类的操作或方法(称为“行为”)。类行为只是业务逻辑关联,需要顺序、排序和定时操作。ER图中表示存储过程或触发器。

7b88902bc4961862c5934b284fd0fde0.png

基于事实的建模(FBM)

基于事实建模,根据对象与这些对象或表征的事实,以及每个对象的在每个事实中的角色。通过表达对象(实体和值)之间的关系,确定其角色建模。

1072bbfa6b6342ac77c1dc7051b54794.png

对象角色建模(ORM或ORM2)

对象角色模型(ORM)是一种模型驱动的工程方法。通过熟知的典型惯例示例,在概念层上用事实表达这些示例。

afd20af9cdeb4597cd0c01da0ffa2b48.png

完全面向通信的建模(FCO-IM)

FICO-IM与ORM的符号表示方法类似。

1f309794135a8f1966a1f3695fd98a8a.png

基于时间

基于时间,当前数据值必须按照时间顺序与特定的时间值关联。

8a93ce350d78c940df851589e9bbb4f7.png

Data Vault

Data Vault,是一种混合方法,包括三范式(3NF)和星型模型最佳组合,面向细节,基于时间和链接唯一的标准化集,支撑一个或多个业务功能域。
Data Vault,专用于企业级数据仓库的需求和设计,有三种类型实体:HUB、链路和卫星,侧重于业务功能区,将HUB作为主键,链接提供了与HUB之间的事务集成,卫星提供了主键上下文的枢纽。

c5e0e56a63e71f4faa9d23450c210d82.png

锚定建模

锚定建模,适用于结构和内容随时间变化的信息,具有用于处理时态数据的扩展。
锚定建模的四个基本概念:锚点、属性、关系和结。锚点是模型的实体和事件,属性是模型属性,关系是锚点间的关系,结是共享属性。

b4783d1ee06716da4035cab49426b914.png

NoSQL

NoSQL是基于非关系基数构建的数据库。
NoSQL数据库四种类型:文档、键值、面向列和图

176041797315a3a4a199c913fc8d204a.png

文档

文档库经常按业务主题存储为文档同一结构中,而不是将业务主题分解为多个关系结构。

2549d38c65a8c82e5de4c6f8153ab03f.png

键值

键值数据库允许应用程序将数据存储在“键”和“值”中,特点是:存储简单(日期、数字、代码)和复杂信息(无格式文本、视频,存储在“值”列中的音乐、文档和照片)

ddadd38426e04d703b34d84b4681f399.png

面向列

列数据库可以处理复杂的数据类型,包括无格式文本和图像,每列存储在各自的结构中。

4de0edaf5f7caabffd91cb73276ba545.png

图数据库用于其表示一组节点关系数据,节点和节点之间具有未确定的连接数。图数据库应用实例是社交网络(节点可以是人),通过遍历找到最短路径和邻近等,降低复杂度和提高时间效率。

d2cfab72b244fb71af73cfdc39064d92.png

数据模型层级粒度

SPARC 三模式数据库管理方法,三个关键组成部分:概念,体现了贴近现实世界的建模视图,呈现企业当前运营模式。外部,数据库系统在整个企业架构的子集上运转,这些子集与其特定需求相关。子集表示“外部模式”内部,物理机器视图,内部的架构的描述,描述存储信息的方式

fc47c9f00bd6c4ebd12e2e47efc36c59.png

概念层

概念数据模型,高层级数据需求的识别和获取,形成相关概念的集合。体现该业务领域、功能中的基本和关键业务实体,及其每个实体的描述和关系。

c83dcd408105602f65c393de61c79b47.png

逻辑层

逻辑数据模型,数据的详细描述,结合上下文及应用系统要求,实现其特定的约束。但是,仍独立于技术层面。
逻辑模型通常作为概念模式的扩展,增加属性,通过归一化技术将属性分配给实体。

0dae0b8a06a8e82f6b842edb8e73ead6.png

物理层

物理模型代表技术解决方案细节,以逻辑数据模型作为基础,考虑具体硬件、软件和网络环境的特定技术而构建,如:考虑数据管理系统的特定功能(DB2、Oracle、Sybase、SQL Server)等。

77056f52d321de624caee4eab79a5498.png

数据集成规范

物理层的解决方案对数据模型的规范,用于系统间数据流转。描述数据包、消息在系统间的传递,如:企业服务总线ESB和企业应用集成EAI等。

fd50bfc3d46b1993c2fd41c60aee0a99.png

视图

视图是虚拟表。视图提供了查询包含或引用一个或多个表中属性的数据方法。
标准视图运行SQL请求视图中的检索数据,用于简化查询,控制数据访问和重复列等。

147ec94e2191472b2260e678ccc9db5f.png

分区

分区是拆分表的过程,执行操作归档和提高检索性能,可以是垂直或水平。垂直拆分,减少查询集,创建包含子集的子集表。水平拆分,减少查询集,使用列的值作为创建子集表的条件。

32bdccb1a6cceb33290ebaf01c4e09e3.png

非规范化

非规范化是将规范化的逻辑模型实体转化为具有冗余或重复的物理表。

数据非规范化的处理原因
1.提高组合各个其他表的数据,以避免运行时间成本
2.创建较小的数据副本,以减少大宽表的计算和表扫描的运行成本
3.预先度量计算和存储数据,以避免运行时系统资源调度

非规范化处理会导致重复和导致数据错误的风险。通常伴随数据质量检查,以确保数据存储副本的规范性。

72c9243bcd6c9c2a22fc13214ac67298.png

规范化

规范化是建立规则,将业务复杂度转换为稳定的数据结构的过程。
规范化的目标,将每个属性确保唯一,以消除冗余及其导致的不一致。需要深入理解每个属性及其主外键关系。

1.第一范式(1NF):确保每个实体都有一个有效的主键,每个属性都依赖于主键,删除重复组,确保每个属性都是最小粒度的(原子的)。
2.第二范式(2NF):确保每个实体都具有最小主键,每个属性都依赖于完整的主键。
3.第三范式(3NF):确保每个实体没有隐含的主键,且每个属性都不依赖于该主键以外的任何属性。

8a5a9e70927b12de0c5ea481c2a85b50.png

抽象化

抽象,去除细节,保留相同概念或主题的重要属性和本质特征。抽象,包括泛化和专业化,泛化是将实体的共同属性和关系属性进行分组,获得超类实体;专业化,实体内的属性分离为子类型实体。

d38e849eb3fdf04194397656e69d07a5.png

07

活动

构建概念模型、逻辑模型和物理模式,以及维护和检查数据模型的步骤。
正向工程和逆向工程。

65f52d8ac94f7144a8ed038e4e0878a4.png

数据模型规划

数据模型规划包括获得组织数据模型规范要求,创建数据模型标准和确定数据模型存储等活动。典型的交付成果包括
1.图表:数据模型包含一个或多个图表。以精确的形式呈现数据需求,描述各个层级细节(概念、逻辑和物理),数据建模方案(关系建模、维度建模、面向对象建模、基于事实建模、基于时间和NoSQL),以及采用方案中的符号进行建模。
2.定义:实体、属性、关系的定义,维护数据模型的精确程度至关重要。
3.问题:通过数据建模过程解决当前问题和未来预期解决问题。
4.沿袭:对物理数据模型和逻辑数据模型,了解数据沿袭(数据来源)非常重要,跟踪数据建模的全过程,采集数据源和目标映射关系。关键在于两个方面:一是,数据建模建模人员了解数据规范要求,确定数据源属性。其次,确定数据源属性可以被准确验证和映射工具。

925a855bb9f4a91bf132f78da751df23.png

构建数据模型

首先,建模人员通过数据分析,对现有的数据模型和数据库进行全面的梳理,参考发布标准,考虑数据规范性要求。
其次,数据建模是持续迭代过程,数据建模者提交模型视图,然后,业务专业人员和业务分析师验证,以澄清术语和业务规则。

348ae260f128f98713ec35528892b96a.png

正向工程

正向工程,从业务需求出发开始构建数据模型的过程。首先完成CDM,完成关键业务术语。其次,完成LDM,识别和记录业务解决方案。最后通过PDM实现技术解决方案。

d5a2f60cd1439fcfe3b036c3884f40b5.png

概念模型建模

CDM创建步骤:
1.选择规范Scheme,按照关系、维度、基于事实等构建数据模型
2.选择表示方法,选择表示方法,如:IE或对象角色建模等
3.初始化CDM,获取和收集高层级概念(名词),然后梳理概念的关系和链接(动词),关系具有双向性,涉及两个以上的概念。
4.整合业务术语,构建用户视图,确保与业务术语和规则保持一致。
5.获得验证,验证数据模型满足规范性要求。

4d91e9d89d58a3950f7e02ba1b701a46.png

逻辑模型建模

更为详细的数据要求

74e97741addabffb1bf300b77d1b873b.png

信息需求分析

1.识别信息需求,首先需要对一个或多个业务流程的上下文中的业务需求进行识别。这些信息产品通常作为标识形成基础的业务词汇表。其次,有效分析和设计确保数据(名词)和过程(动词)的整体视图。
2.需求分析,包含业务需求的启发、组织、文档、审查、细化、批准和变更控制。单词和图表表达规范性要求,确定业务数据和信息需求。
3.逻辑数据模型,表达业务数据需求的重要手段。组织通常会起草正式的声明,对数据规范性提出要求。

3bcdd9a96a65e4a6f19ffe3928497014.png

当前现状分析

1.对已有的数据模型和数据库进行分析,确保已有的数据经过业务验证准确无误。
2.对于企业资源计划ERP系统,创建LDM时,应考虑企业数据模型的映射关系。
3.对于行业数据模型及通用数据模型建模,可以根据组织特定需求,制定优化和裁剪方案。

480a72a9d38ab66f351e51f5433765ca.png

补充关联实体

关联实体,描述多对多关系,关联实体设计实体中标识属性,且描述实体之间新的关系。

2e2fa9dd478913aa870c2d51a9ec976b.png

增加属性

概念逻辑模型中增加属性,构建逻辑数据模型,保证逻辑模型属性的最小颗粒度。属性应当是一个且只有一个数据,不能分成更小的部分。

0733cfba7860514d353243381de06fd7.png

定义域

保证域的格式和值集的一致性。

6c0c82804f2cd3734a9403f4c902dfd6.png

定义键

定义实体属性的键和非键属性,关键属性识别实体或属性组合识别唯一实体实例,非关键属性描述实体实例,识别主键和外键。

575e9424a9eb663bc7044f65a6fabbb1.png

物理数据模型

逻辑模型需要修改和调整,进而满足物理层应用系统的良好性能。

ec5776533ae9ee0e68e3707097361b60.png

解决逻辑抽象

逻辑抽象(超类和子类)方法,应用于物理数据库的设计中的对象。

1c40e7f178fc97a8fde17b4ac6894926.png

添加属性细节

物理模型中补充详细信息,如:关系数据库的技术参数 NULL或Not NULL等。

1fac2b2973ffff34a7af874b6a961391.png

添加参考数据对象

逻辑模型中的参考数据值域,物理模型通常有三种方式
1.创建和匹配代码表
2.创建共享代码表
3.将规则和有效代码置入相应的对象中,嵌入规则和对象定义代码中,创建约束。

a3d3aff14a331c4e85cb2644891fbb4e.png

定义代理键

可选步骤。主要取决于自然键是否可以被分配,及随时间变化的值。

ee92a5337391cf79739978ecf6a09959.png

非规范性性能优化

非规范化和冗余会提高性能。维度建模中非规范化是主要的实现手段。

33cf8631f640ae470f0cb153e66c619b.png

索引

索引,用于访问数据库数据,以优化查询和检索的性能。

dc8f68f3e70853acbcd0afa4d6a8b9e8.png

性能分区

考虑整体数据模型的健壮性,考虑维度分区策略,当事实包含维度较多时,考虑调整。通常建议以日期进行分区,或者根据分析和负载情况,提出改进分区模型。

1800e4af4aec01beb175bc653dc5d468.png

创建视图

视图,可用于控制对某些数据元素的访问,通过嵌入链接条件或标准化对象进行查询。

fa90815402feb3b85803dbf3fd303f61.png

逆向工程

通过现有数据库逆向生成数据模型的过程。首先对PDM现有系统的技术了解,其次生成LDM,记录满足现有系统的业务解决方案,最后是CDM记录业务系统中关键业务术语。

42e964b989654005a677e7a460bd973c.png

审查数据模型

模型需要质量控制,应持续改进。可以通过数据模型评估其正确性,保证模型的完整性和一致性。

e6a0ed8faa0f70f8fc76a7e550bfc869.png

维护数据模型

保持数据模型的最新状态,业务流程发生变化时,需要对数据模型进行更新。

17f3f9a5fe310db264a79f4f17812222.png

08

数据建模工具

数据建模工具是自动执行数据建模任务的工具软件。

e7a0142a78aa65a215f02b0da785f603.png

数据沿袭工具

沿袭工具,允许获取和维护数据模型上的每个属性数据源及其结构。

2cbc010a995e47f5e1fe7fbc279cb34c.png

数据分析工具

探索数据内容,根据元数据开展验证,识别数据质量的差距和缺陷,以及数据模型的缺陷。

4e4325e1e4f0d8094855cdf80bb5454c.png

元数据存储库

元数据存储库是存储有关数据模型的描述性信息,包括图表、文本,以及导入元数据的其他工具、流程。

e925f66ae690e1dbee9f11f252643584.png

数据模型模式

数据模型模式,是可复用的模型。包括:基本、装配、集成模型,基本模式是数据建模的基本要素,解决多对多关系等。装配模式是跨业务和数据建模的构建快,实现可靠的、可扩展的和可实现的设计。集成模式提供了集成其他模式的框架。

20a5fe76ad3b4a8eb23b5203d2b1992e.png

行业数据模型

行业数据模型是行业规定的数据模型,这些模型包括大量的数据实体和属性。组织可以根据需要,自行定制适合组织自身的数据模型。

abf3f81d837b625c47181abd316e3043.png

09

命名规范化最佳实践

1.ISO 11179 元数据注册表示组织中元数据的国际标准。
2.数据建模和数据库设计标准是满足业务数据需求的原则,符合企业和数据架构,且保证数据质量。
3.每种类型的数据建模和数据库对象发布数据模型和数据库命名标准。命名标准对于实体、表、属性、键、视图4.和索引尤为重要。
5.逻辑模型的命名应对业务有意义,仅尽可能使用完整的词汇,避免缩略词。
6.命名标准尽可能减少环境中的变更影响。

db41a38fef1123b8b92f3c9e956dc4dd.png

数据库设计最佳实践

DBA设计原则(PRISM)
1.性能和易用性
2.可复用性
3.完整性
4.安全性
5.可维护性

7851b8a92694ab5038a1cd48010251c4.png

数据模型与模型设计质量管理

确保组织数据安全、可恢复、共享和复用性,并保证数据正确、及时、相关和可用性,满足利益相关的利益。

b566fe41e8a769d81d1d43c0222ef9a6.png

开发数据建模和设计标准

满足业务数据规定,符合企业架构和数据架构标准规范,确保数据质量。
1.数据建模标准、数据库设计交付成果的清单
2.数据模型对象的标准名称,及命名规则列表
3.数据模型对象命名格式,属性和列
4.创建和维护交付成果列表的标准方法和说明
5.组织角色、职责和描述
6.数据建模和数据库设计的元数据属性列表及描述,包括业务元数据和技术元数据等
7.元数据质量要求
8.数据建模工具指南
9.设计评审指南
10.数据模型版本控制

06e3930497b93397ccfcda91df291f6c.png

查看数据模型和数据库设计质量

审查概念模型、逻辑模型和物理数据库设计评审,保证数据架构标准的一致性。

865340c6f08614a2f6f750caafdf93ca.png

管理数据模型版本和数据集成

数据模型和设计规范需要变更控制,与需求规范和SDLC一样,确保数据模型变更获得有效批准。
变更控制要点:
1.什么原因引起的变更
2.变更内容和变更方式,包括表、字典的增、删、改
3.批准对模型变更
4.谁提出的变更
5.变更的具体位置

e8131c422438bc49872a558a680968a9.png

10

数据建模指标

数据模型质量的10个度量记分卡模板

932e86cd43f3659982a64fefab1e8025.png

数据模型指标说明

1.模型如何匹配需求
2.模型完整性
3.模型与方案的匹配程度
4.模型结构如何
5.模型如何利用通用模型
6.模型如何遵从命名规范
7.模型的可理解性如何
8.模型定义如何
9.模型与企业架构的一致性
10.元数据与数据的匹配程度

b53fc45dc425d64b611bd4b6e50dda81.png

好,以上就是今天的全部内容。下一节,我们将进入第六章内容 数据存储与操作章节部分,对数据存储与操作中涉及的主要活动、工具技术和实施指南等方面进行介绍。知识星球存储海量数据管理相关知识库文档,并附DMBOK全系列教程PPT,各位数据师小伙伴们加入下下载。

4f18094c2409f75817a3e82e9d4b18b0.png

灵活、高效、经济的数据知识学习解决方案

推 荐 导 读:

  • DMBOK 01 | 数据管理

  • DMBOK 02|数据伦理

  • DMBOK 03|数据治理(上)

  • DMBOK 04|数据治理(下)

出品:微信号"dataperpetual"

版本:V2019

 数记达摩院 http://www.fuduo.wang

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值