- 数据建模和设计
背景
数据建模是发现、分析和确定需求的过程,用一种称为数据模型的精确形式表示和传递这些数据需求。数据一般采用6种模式进行表示:1.关系模式,2.多维模式,3.面向对象模式,4.事实模式,5.时间序列模式,6.nosql模式。每个模式又可以分为三个层级:概念模型,逻辑模型,物理模型。数据模型包含了数据使用者所必须的元数据。
语境关系图
概念
主要介绍建模的不同数据类型、数据模型的组成部分,适合于开发的数据模型以及在不同情况下选择不同类型的原因。
数据建模和数据模型
模型:模型是现实中事物的一种表征或者想要创造事物的一种模式。一个模型可以包含一个或多个图表。模型图可以帮助人通过标准化的语言快速理解其内容
数据建模常用在系统开发与系统维护的工作环境中,也称为系统开发周期,数据建模的直接结果就是对组织数据的理解,数据模型描述了组织已经理解或者未来需要的数据,使用标签符号可视化地将数据需求传递给数据建模人员。
数据模型的重要性:1.提供有关数据的通用词汇表;2.获取、记录组织内数据和系统的详细信息;3、在交流中作为主要的交流工具;4、提供了应用定制、整合,甚至替换的起点
建模的数据类型
- 类别信息:用于对事物进行分类和分配事物类型的数据。如开放关闭分类订单
- 资源信息:实施操作流程所需资源的基本数据。如产品、客户
- 业务事件信息:在操作过程中创建的数据。如客户订单
- 详细交易信息:销售系统、传感器等生成的大容量数据,可以用来做聚合分析等
数据模型组件
实体,关系,属性和域
实体:组织收集信息的载体--用来回答谁、什么、何时、为什么、怎么办。实体在定义的时候要保证1、清晰,2、准确,3、完整
关系:是实体之间的联系,用来捕获概念实体之间的高级别交互、逻辑实体之间的详细交互以及物理实体之间的约束,关系中出现的实体称为元数
数据建模的方式:关系建模,维度建模,面向对象建模,基于事实建模,基于时间建模,非关系型建模
建模方式 | 表示法 |
关系 | 信息工程,信息建模集成定义,巴克符号,陈氏符号 |
维度 | 维度 |
面向对象 | 统一建模语言(UML) |
基于事实 | 对象角色建模,完全面向交流的信息建模 |
基于时间 | 数据拱形模型,锚建模 |
非关系型 | 文档,列,图,建值 |
业务驱动
- 提供有关数据的通用词汇表
- 获取、记录组织内数据和系统的详细信息
- 在项目中作为主要的交流沟通工具
- 提供了应用定制、整合,甚至替换的起点。
目标
确认和记录不同视角对数据需求的理解,从而使应用程序与当前和未来的业务需求更加紧密的结合在一起,并为成功的完成广泛的数据应用饿管理活动奠定基础
确认和记录不同视角的理解有助于:1.格式化,2.范围定义,3.知识保留记录
原则
活动
主要介绍数据建模的概念、逻辑和物理模型的设计步骤,以及维护和审查数据模型的步骤和方法,并讨论正向工程和逆向工程
规划数据建模
数据建模工作计划主要包括评估组织需求,确定建模标准,明确数据模型存储管理
数据建模工作交付成果有四个方面:A、图表;B、定义;C、争议和悬而未决的问题;D、血缘关系。
建立数据模型
正向工程:指从需求开始构建新应用程序的过程。首先需要通过建立概念模型来理解需求的范围和核心术语;然后建立逻辑模型来详细描述业务过程;最后是通过具体的建表语句来实现物理模型
概念数据模型建模步骤:1.选择模型类型,2.选择表示方法,3.完成初始概念模型,4.收集组织中最高级的概念,5.收集与这些概念相关的活动,6. 合并企业术语,7.获取签署。
逻辑数据模型建模:作用就是补充概念模型的需求细节。1.分析信息需求,2.分析现有文档3 添加关联实体。4 添加属性。5 指定域。6 指定键。
物理数据模型建模:1.解决逻辑抽象【子类型吸收。超类型分区。】2.添加属性细节 3.添加参考数据对象 4.指定代理键 5.逆规范化 6.建立索引 7.分区 8.创建视图。
审核数据模型
价值实现时间。支持成本。数据模型质量验证器(数据模型记分卡)。评估正确性、完整性、一致性。
维护数据模型
保持模型最新的状态
工具
数据建模工具
数据血缘工具
数据分析工具
元数据资料库
数据模型模式
行业数据模型
方法
命名约定的最佳实践
数据建模和数据库设计标准是有效满足业务数据需求的指导原则,它们符合企业架构和数据架构的需求,以确保数据质量标准
数据库设计中的最佳实践
PRISM 设计原则:1 性能和易用性。2 可重用性。3 完整性。4 安全性。5 可维护性。
数据建模和设计治理
数据建模和设计质量管理
数据建模和数据库设计是企业短期需求和长期需求之间的合理平衡
1.开发数据建模和设计标准
1.标准数据建模和数据库设计可交付成果的列表和描述。
2.适用于所有数据模型对象的标准名称、可接受的缩写和非常用单词的缩写规则列表。
3.所有数据模型对象的标准命名格式列表,包括属性和分类词。
4.用于创建和维护这些可交付成果的标准方法的列表和说明。
5.数据建模和数据库设计角色和职责的列表和描述。
6.数据建模和数据库设计中捕获的所有元数据属性的列表和描述,包括业务元数据和技术元数据
7.元数据质量期望和要求。
8.如何使用数据建模工具的指南。
9.准备和领导设计评审的指南。
10.数据模型版本控制指南。
11.禁止或需要避免的事项列表。
2.评审数据模型及数据库设计质量
3.管理数据模型版本与集成
Why。What。How。When。Who。Where。
度量指标
1.模型多大程度上反映了业务需求?2.模型的完整性如何?(需求完整性。元数据完整性)3.模型与模式的匹配度是多少?4.模型的结构如何?5.模型的通用性如何?6.模型遵循命名标准的情况如何?7.模型的可读性如何?8.模型的定义如何?(清晰/完整/准确)9.模型与企业数据架构的一致性如何?10.与元数据的匹配程度如何?