数据管理基础-ch00-07

ch 00 课程概要

自我介绍

教材

课程概要

课程概要 1

• 课程主页
  • http://219.219.120.72/course/view.php?id=461
• 必备知识体系
  • 数据结构
  • 面向对象
• 后继课程及应用
  • 商务智能
  • 大数据及云计算
  • 毕业设计

课程概要 2

• 课程组织
  • 堂讲
  • 遵循教材的课后学习
  • 作业
  • 习题课（课程主页论坛、邮件、不定期答疑）
• 评分
  • 作业占课程成绩的30％~40%
  • 考试占课程成绩的60％~70%
  • 考勤对课程成绩进行正负加成

ch 01 计算、数据与数据管理

计算

• 什么是计算？
  • 计算=算法+数据
• 算法 vs. 数据
  • 以二叉树为例，在下列数据结构中完成二叉树遍历（深度/广度）

数据管理-人工管理

数据管理-人工管理 1

数据管理-人工管理 2

• 特点
  • 数据的管理者：用户（程序员），数据不保存
  • 数据面向的对象：某一应用程序
  • 数据的共享程度：无共享、冗余度极大
  • 数据的独立性：不独立，完全依赖于程序
  • 数据的结构化：无结构
  • 数据控制能力：应用程序自己控制

我们已经做了…

• 讨论计算中的常见数据模型
  • 数据结构（数组，链表，堆，栈，树，图……）
  • 基于这些数据结构的基本操作
  • 用于“低层级”描述计算
• 描述现实世界
  • 对象（状态+改变状态的操作）
  • 用于“高层级”描述计算
• 能够胜任“挥发型”计算
  • “持久性”计算？

数据管理-文件系统

数据管理-文件系统 1

数据管理-文件系统 2

• 特点
  • 数据的管理者：文件系统，数据可长期保存
  • 数据面向的对象：某一应用
  • 数据的共享程度：共享性差、冗余度大
  • 数据的结构化：记录内有结构，整体无结构
  • 数据的独立性：独立性差
  • 数据控制能力：应用程序自己控制

数据管理-文件系统 3

• 举例：
  • Save/ Load
    • 文件/云/网络流
    • 字节流/文本流
  • 对象持久化
    • Java中的序列化/反序列化
• 能够胜任“持久性”计算
  • “共享性”计算？

共享数据

共享数据 1

• 基于二进制在多个应用之间共享数据
• 基于文本在多个应用之间共享数据（K/V, JSON，XML）

共享数据 2

• 在多个应用使用数据的前提下：
  • 如何确保数据结构和存储机制对于所有应用来说都是可以接受的
  • 如何确保数据安全性，完整性
  • 如何解决数据的并发
    • i=1；i++；i=2
    • i=1；i=2；i++
  • 如何在动态条件下解决上述问题
• 上述问题归结于：
  • 谁负责定义和管理这些数据？（应用？哪一个？）

数据管理-数据库系统

ch 02 几个基本概念

数据

• 数据（Data）是数据库中存储的基本对象
• 数据的定义
  • 描述事物的符号记录
• 数据的种类
  • 数字、文字、图形、图像、音频、视频、学生的档案记录等

数据举例

数据举例 1

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-fTtTejf4-1654011681269)(https://s2.loli.net/2022/05/03/yckJEnwYa59RDgP.png)]

数据举例 2

数据库

• 数据库的定义
  • 数据库（Database，简称DB）是长期储存在计算机内、有组织的、可共享的大量数据的集合
• 数据库的基本特征
  • 数据按一定的数据模型组织、描述和储存
  • 可为各种用户共享
  • 冗余度较小
  • 数据独立性较高
  • 易扩展

数据库管理系统

• 数据库管理系统（Database Management System，简称DBMS）
  • 位于用户与操作系统之间的一层数据管理软件
  • 是基础软件，是一个大型复杂的软件系统
• 数据库管理系统的用途
  • 科学地组织和存储数据、高效地获取和维护数据

数据库管理系统的主要功能

数据库管理系统的主要功能 1

• 数据定义功能
  • 提供数据定义语言（DDL）
  • 定义数据库中的数据对象
• 数据组织、存储和管理
  • 分类组织、存储和管理各种数据
  • 确定组织数据的文件结构和存取方式
  • 实现数据之间的联系
  • 提供多种存取方法提高存取效率

数据库管理系统的主要功能 2

• 数据操纵功能
  • 提供数据操纵语言（DML）
  • 实现对数据库的基本操作 （查询、插入、删除和修改）
• 数据库的事务管理和运行管理
  • 数据库在建立、运行和维护时由数据库管理系统统一管理和控制
  • 保证数据的安全性、完整性、多用户对数据的并发使用
  • 发生故障后的系统恢复

数据库管理系统的主要功能 3

• 数据库的建立和维护功能
  • 数据库初始数据的装载和转换
  • 数据库转储、恢复功能
  • 数据库的重组织
  • 性能监视、分析等
• 其它功能
  • 数据库管理系统与网络中其它软件系统的通信
  • 数据库管理系统系统之间的数据转换
  • 异构数据库之间的互访和互操作

数据库系统

• 数据库系统（Database System，简称DBS），在计算机系统中引入数据库后的系统构成
• 数据库系统的构成
  • 数据库
  • 数据库管理系统（及其应用开发工具）
  • 应用程序
  • 数据库管理员（DBA）

数据库的特点-数据结构化

• 整体结构化
  • 不再仅仅针对某一个应用，而是面向全组织
  • 不仅数据内部结构化，整体是结构化的，数据之间具有联系
  • 数据记录可以变长
  • 数据的最小存取单位是数据项
• 数据的用数据模型描述，无需应用程序定义

数据库的特点-数据的共享性高，冗余度低且易扩充

• 数据面向整个系统，可以被多个用户、多个应用共享使用。
• 数据共享的好处
  • 减少数据冗余，节约存储空间
  • 避免数据之间的不相容性与不一致性
  • 使系统易于扩充

数据库的特点-数据独立性高

• 物理独立性
  • 指用户的应用程序与数据库中数据的物理存储是相互独立的。当数据的物理存储改变了，应用程序不用改变。
• 逻辑独立性
  • 指用户的应用程序与数据库的逻辑结构是相互独立的。数据的逻辑结构改变了，应用程序不用改变。
• 数据独立性由数据库管理系统的二级映像功能来保证。

数据库的特点-数据由数据管理系统统一管理和控制

• 数据库管理系统提供的数据控制功能
  • 数据的安全性（Security）保护
    保护数据以防止不合法的使用造成的数据的泄密和破坏。
  • 数据的完整性（Integrity）检查
    保证数据的正确性、有效性和相容性。
  • 并发（Concurrency）控制
    对多用户的并发操作加以控制和协调，防止相互干扰而得到错误的结果。
  • 数据库恢复（Recovery）
    将数据库从错误状态恢复到某一已知的正确状态。

ch 03 数据模型

数据模型

• 数据模型是对现实世界数据特征的抽象，用以抽象、表示和处理现实世界中的数据和信息
• 数据模型应满足三方面要求
  • 能比较真实地模拟现实世界
  • 容易为人所理解
  • 便于在计算机上实现
• 数据模型是数据库系统的核心和基础

概念/逻辑/物理模型

• 概念模型，也称信息模型
  • 按用户的观点来对数据和信息建模，用于数据库设计
• 逻辑模型
  • 按计算机系统的观点对数据建模，用于DBMS实现
  • 主要包括网状模型、层次模型、关系模型、面向对象数据模型、对象关系数据模型、半结构化数据模型等。
• 物理模型
  • 是对数据最底层的抽象，描述数据在系统内部的表示方式和存取方法。

客观对象的抽象过程—两步抽象

• 现实世界中的客观对象抽象为概念模型
  • 将现实世界抽象为信息世界
• 把概念模型转换为特定DBMS支持的数据模型
  • 将信息世界转换为机器世界

数据模型的组成要素-数据结构

• 数据模型的数据结构
  • 描述数据库的组成对象，以及对象之间的联系
• 描述的内容
  • 与对象的类型、内容、性质有关
  • 与数据之间联系有关
• 数据结构是对系统静态特性的描述

数据模型的组成要素-数据操作

• 数据操作
  • 对数据库中各种对象（型）的实例（值）允许执行的操作的集合，包括操作及有关的操作规则
• 数据操作的类型
  • 查询
  • 更新（包括插入、删除、修改）
• 数据模型对操作的定义
  • 操作的确切含义、操作符号、操作规则（如优先级）
  • 实现操作的语言
• 数据操作是对系统动态特性的描述

数据模型的组成要素-数据的完整性约束条件

• 数据的完整性约束条件，一组完整性规则的集合
  • 完整性规则：给定的数据模型中数据及其联系所具有的制约和依存规则
  • 用以限定符合数据模型的数据库状态以及状态的变化，以保证数据的正确、有效和相容
• 数据模型对完整性约束条件的定义
  • 反映和规定必须遵守的基本的通用的完整性约束条件。
  • 提供定义完整性约束条件的机制，以反映具体应用所涉及的数据必须遵守的特定的语义约束条件。

ch 04 概念模型

概念模型

• 概念模型的用途
  • 概念模型用于信息世界的建模
  • 是现实世界到机器世界的一个中间层次
  • 是数据库设计的有力工具
  • 数据库设计人员和用户之间进行交流的语言
• 对概念模型的基本要求
  • 较强的语义表达能力
  • 简单、清晰、易于用户理解

信息世界中的基本概念

信息世界中的基本概念 1

• 实体（Entity）
  • 客观存在并可相互区别的事物称为实体。
  • 可以是具体的人、事、物或抽象的概念。
• 属性（Attribute）
  • 实体所具有的某一特性称为属性。
  • 一个实体可以由若干个属性来刻画。
• 码（Key）
  • 唯一标识实体的属性集称为码

信息世界中的基本概念 2

• 实体型（Entity Type）
  • 用实体名及其属性名集合来抽象和刻画同类实体称为实体型
• 实体集（Entity Set）
  • 同一类型实体的集合称为实体集
• 联系（Relationship）
  • 现实世界中事物内部以及事物之间的联系在信息世界中反映为实体（型）内部的联系和实体（型）之间的联系。

实体之间的联系

• 实体之间的联系通常是指不同实体集之间的联系
• 实体之间的联系有一对一、一对多和多对多等多种类型

实体内部的联系

• 实体内部的联系通常是指组成实体的各属性之间的联系

实体-联系方法

一些例子

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-YfSs7LbA-1654011681276)(https://s2.loli.net/2022/05/03/gGcDE8jfmdol3KR.png)]

ch 05 逻辑模型

逻辑模型

• 如何“多快好省”地将信息世界转换为机器世界？
  • 基本问题，如何在机器世界中表达“低层”数据结构和“高层”数据结构？
• 方案1：尽量独立于应用层，采用“中立”的方式表达概念模型
• 方案2：在应用层中，使用特定数据结构，并在逻辑模型中高效支持这一数据结构
• 方案*：通用数据结构采用方案1，关键性数据结构采用方案2

常用数据模型

• 格式化模型
  • 层次模型（Hierarchical Model）
  • 网状模型（Network Model）
• 关系模型（Relational Model)）
• 对象模型
  • 面向对象数据模型（Object Oriented Data Model）
  • 对象关系数据模型（Object Relational Data Model）

关系模型的数据结构

关系模型的数据结构 1

• 在用户观点下，关系模型中数据的逻辑结构是一张二维表，它由行和列组成。

关系模型的数据结构 2

• 关系必须是规范化的，满足一定的规范条件
  • 最基本的规范条件：关系的每一个分量必须是一个不可分的数据项, 不允许表中还有表

关系模型的操作与完整性约束

• 数据操作（查询、插入、删除、更新）是集合操作，操作对象和操作结果都是关系
• 存取路径对用户隐蔽，用户只要指出“干什么”，不必详细说明“怎么干”
• 关系的完整性约束条件
  • 实体完整性
  • 参照完整性
  • 用户定义的完整性

关系模型的优缺点

NoSQL

ch 06 数据库系统的结构

数据库系统的结构

• 从数据库应用开发人员角度看
  • 数据库系统通常采用三级模式结构，是数据库系统内部的系统结构
• 从数据库最终用户角度看，数据库系统的结构分为:
  • 单用户结构
  • 主从式结构
  • 分布式结构
  • 客户-服务器
  • 浏览器-应用服务器／数据库服务器多层结构等

模式和实例

模式和实例 1

• 模式（Schema）
  • 数据库逻辑结构和特征的描述
  • 是型的描述，不涉及具体值
    • 反映的是数据的结构及其联系
  • 模式是相对稳定的
• 实例（Instance）
  • 反映数据库某一时刻的状态
    • 模式的一个具体值
  • 同一个模式可以有很多实例
  • 实例随数据库中的数据的更新而变动

模式和实例 2

数据库系统的三级模式结构

模式（Schema）

• 模式（也称逻辑模式）
  • 数据库中全体数据的逻辑结构和特征的描述
  • 所有用户的公共数据视图
• 一个数据库只有一个模式
• 模式的地位：是数据库系统模式结构的中间层
  • 与数据的物理存储细节和硬件环境无关
  • 与具体的应用程序、开发工具及高级程序设计语言无关
• 模式的定义
  • 数据的逻辑结构（数据项的名字、类型、取值范围等）
  • 数据之间的联系
  • 数据有关的安全性、完整性要求

外模式

外模式1

• 外模式（External Schema）
  • 也称子模式或用户模式
  • 数据库用户（包括应用程序员和最终用户）使用的局部数据的逻辑结构和特征的描述
  • 数据库用户的数据视图，是与某一应用有关的数据的逻辑表示

外模式 2

• 外模式的地位：介于模式与应用之间
  • 模式与外模式的关系：一对多
    • 外模式通常是模式的子集
    • 一个数据库可以有多个外模式。反映了不同的用户的应用需求、看待数据的方式、对数据保密的要求
    • 对模式中同一数据，在外模式中的结构、类型、长度、保密级别等都可以不同
  • 外模式与应用的关系：一对多
    • 同一外模式也可以为某一用户的多个应用系统所使用
    • 但一个应用程序只能使用一个外模式
• 外模式的用途
  • 保证数据库安全性的一个有力措施
  • 每个用户只能看见和访问所对应的外模式中的数据

内模式（Internal Schema）

• 内模式（也称存储模式）
  • 是数据物理结构和存储方式的描述
  • 是数据在数据库内部的表示方式
    • 记录的存储方式（例如，顺序存储，堆存储，hash存储等）
    • 索引的组织方式
    • 数据是否压缩存储
    • 数据是否加密
    • 数据存储记录结构的规定
• 一个数据库只有一个内模式

数据库的二级映像与数据独立性

• 三级模式是对数据的三个抽象级别
• 二级映象在数据库管理系统内部实现这三个抽象层次的联系和转换
  • 外模式／模式映像
  • 模式／内模式映像

外模式／模式映像

• 模式：描述的是数据的全局逻辑结构
• 外模式：描述的是数据的局部逻辑结构
• 同一个模式可以有任意多个外模式
• 每一个外模式，数据库系统都有一个外模式／模式映象，定义外模式与模式之间的对应关系
• 映象定义通常包含在各自外模式的描述中
• 保证数据的逻辑独立性
  • 当模式改变时，数据库管理员对外模式／模式映象作相应改变，使外模式保持不变
  • 应用程序是依据数据的外模式编写的，应用程序不必修改，保证了数据与程序的逻辑独立性，简称数据的逻辑独立性

模式／内模式映像

模式／内模式映像 1

• 模式／内模式映象定义了数据全局逻辑结构与存储结构之间的对应关系。
  • 例如，说明逻辑记录和字段在内部是如何表示的
• 数据库中模式／内模式映象是唯一的
• 该映象定义通常包含在模式描述中
• 保证数据的物理独立性
  • 当数据库的存储结构改变了（例如选用了另一种存储结构），数据库管理员修改模式／内模式映象，使模式保持不变。
  • 应用程序不受影响。保证了数据与程序的物理独立性，简称数据的物理独立性。

数据库的二级映像

数据库的二级映像 1

• 数据库模式
  • 即全局逻辑结构是数据库的中心与关键
  • 独立于数据库的其他层次
  • 设计数据库模式结构时应首先确定数据库的逻辑模式
• 数据库的内模式
  • 依赖于它的全局逻辑结构
  • 独立于数据库的用户视图，即外模式
  • 独立于具体的存储设备
  • 将全局逻辑结构中所定义的数据结构及其联系按照一定的物理存储策略进行组织，以达到较好的时间与空间效率

数据库的二级映像 2

• 数据库的外模式
  • 面向具体的应用程序
  • 定义在逻辑模式之上
  • 独立于存储模式和存储设备
  • 当应用需求发生较大变化，相应外模式不能满足其视图要求时，该外模式就得做相应改动
  • 设计外模式时应充分考虑到应用的扩充性
• 特定的应用程序
  • 在外模式描述的数据结构上编制的
  • 依赖于特定的外模式
  • 与数据库的模式和存储结构独立
  • 不同的应用程序有时可以共用同一个外模式

数据库的二级映像 3

• 数据库的二级映像
  • 保证了数据库外模式的稳定性
  • 从底层保证了应用程序的稳定性，除非应用需求本身发生变化，否则应用程序一般不需要修改
• 数据与程序之间的独立性，使得数据的定义和描述可以从应用程序中分离出去
• 数据的存取由数据库管理系统管理
  • 简化了应用程序的编制
  • 大大减少了应用程序的维护和修改

ch 07 数据库系统的组成

数据库系统的组成-软硬件平台

数据库系统的组成-人员

数据库管理员（DBA）

• 决定数据库中的信息内容和结构
• 决定数据库的存储结构和存取策略
• 定义数据的安全性要求和完整性约束条件
• 监控数据库的使用和运行
  • 周期性转储数据库
    • 数据文件
    • 日志文件
  • 系统故障恢复
  • 介质故障恢复
  • 监视审计文件
• 数据库的改进和重组
  • 性能监控和调优
  • 定期对数据库进行重组织，以提高系统的性能
  • 需求增加和改变时，数据库须需要重构造

系统分析员/数据库设计人员

• 系统分析员
  • 负责应用系统的需求分析和规范说明
  • 与用户及数据库管理员结合，确定系统的硬软件配置
  • 参与数据库系统的概要设计
• 数据库设计人员
  • 参加用户需求调查和系统分析
  • 确定数据库中的数据
  • 设计数据库各级模式

应用程序员/最终用户