国科大--数据库新技术期末复习考纲

国科大学习生活（期末复习资料、课程大作业解析、学习文档等）: 文章专栏（点击跳转）

第1章 关系数据库模型和关系运算（重点）

1、要求掌握的基本概念和理论

1. 与网状和层次数据库相比，关系数据库有哪些优点？
数据结构单一；
建立在严格的数学概念基础上；
将数据定义和数据操纵统一在一种语言中，使用方便，易学易用。

2. 试述关系模型的完整性规则
关系模型三要素：数据结构、关系操作、完整性约束。
完整性约束包括：
实体完整性：关系中，键属性值不能为空
参照完整性：关系中，外键的值必须与被参照关系中主键的值对应。
用户定义的完整性：数据间应满足由用户定义的和系统检查的语义约束关系。

3. 试述等值连接与自然连接的区别和联系
联系：都是将两个关系按照某些列的相同值进行连接
区别：

• 自然连接是除去重复属性列的等值连接（自然连接一定是等值连接）
• 等值连接只要求值相等，而自然连接要求相等的分量必须是公共属性

4. 函数依赖、部分依赖、完全依赖、传递依赖、平凡依赖

函数依赖（FD）：设关系模式R(U)，X,Y  U，r是R(U)上的任一关系，对任意t1、t2r, 如果 t1[X]=t2[X] 有t1[Y]=t2 [Y]，称X函数决定Y，或Y函数依赖于X，记为：FD X→Y。

平凡/非平凡的FD:设FD X→Y，如果YX，则称 FD X→Y为非平凡的函数依赖；否则，若YX，称FD X→Y为平凡的函数依赖。

完全FD :设FD X→Y，如果对任意的XX，X→Y都不成立，则称X→Y是完全函数依赖；若对X的真子集X有XX，而X→Y成立，则称FD X→Y是部分函数依赖，即Y函数依赖于X的一部分。

传递FD:设关系模式R，X、Y、Z是R的属性子集，若FD X→Y，Y/→X，Y→Z，则有FD X→Z，称FD X→Z为传递函数依赖。

5. 函数依赖公理和推论

Armstrong公理（三个公理）：
设r是R(U)上的一个关系，X、Y、Z、WU。
A1. 自反律: 若YXU, 则 X→Y;
A2. 增广律: 若X→Y且ZU，则 XZ→YZ;
A3. 传递律: 若X→Y, Y→Z，则 X→Z.
有以上三个公理，可以推出以下3个推论：
推论1（合成规则）： 若X→Y，X→Z，则X→YZ
推论2（分解规则）： 若X→Y且ZY，则X→Z
推论3（伪传递规则） 若X→Y，YZ→W，则XZ→W。

6. 函数依赖的覆盖和等价

  关系模式R(U)上的两个函数依赖集F和G，如果满足F的闭包=G的闭包，则称F和G是等价的。如果F和G等价，则可称F覆盖G或G覆盖F。

2、要求掌握的基本算法

1. 求关系的并、差、交、连接、选择、投影、除运算。
*注意除运算

R÷S1=学生表中年龄为19的学生信息的新表格，但这个新表格中的字段不包括年龄：

2. 关系运算在查询中的应用。
根据需求组合使用关系运算符。

3. 属性集X关于F的闭包X+的基本算法

属性集的闭包：

函数依赖集的闭包：

4. 函数依赖集的成员测试算法(MEMBER(F,X→Y)).
注：求解F |= AB→G类似问题有两种方法：
1、推理法

2、成员测试算法

5. 检验分解是无损算法

转载–>数据库手把手解题——1.判断无损连接

6. 检验分解算法是否保持函数依赖

7. 生成3NF的分解算法

1NF： 不存在多值属性，即每个属性值不能再分
2NF： 1NF且不存在非主属性对主键的部分依赖。
3NF： 1NF且不存在非主属性对主键的传递依赖。不约束对非主属性的依赖
BCNF： 所有属性不存在传递依赖。BCNF一定是3NF

8. 规范化关系模式为BCNF算法

第 2章 关系数据库设计和数据库管理系统

1、要求掌握的基本概念和理论

1. 试述数据库设计过程，及每个阶段的任务。
需求分析：确定信息需求、处理需求、安全性和完整性方面的需求。
概念设计：在需求分析的基础上，通过对用户需求进行分析、归纳、抽象，形成一个独立于具体DBMS和计算机硬件结构的整体概念结构，常用工具用ER模型。
逻辑设计：在概念结构设计的基础上，将概念模式(E-R图)转换为与选用DBMS支持的数据模型相符合的逻辑结构，并采用范式理论对其中的数据逻辑结构进行优化。
物理设计：为给定的逻辑数据模型，选取一个最适合应用要求的物理结构的过程。
实施和运行：用DBMS提供的数据定义语言(DDL)和其它实用程序将数据库逻辑结构设计和物理设结构的结果描述出来，成为DBMS可接受的源代码，再调试产生目标模式，最后将数据装入数据库。
使用和维护：收集数据库运行的记录，用于评价改善数据库系统的性能。

2．什么是数据库的逻辑结构设计？试述其设计步骤。
  把概念结构设计阶段设计好的基本E-R图转换为与选用DBMS产品所支持的数据模型相符合的逻辑结构。
设计步骤：

1. 将概念结构转换为一般的关系、网状、层状模型；
2. 将转换来的关系、网状、层状模型向特定DBMS支持下的数据模型转换；
3. 对数据模型进行优化。

3. 试述数据库物理设计的内容和步骤。
  为一个给定的逻辑数据模型选取一个最适合应用要求的物理结构的过程。
步骤：

1. 确定数据库的物理结构，在关系数据库中主要指存取方法和储存结构。
2. 对物理结构进行评价，评价的重点是时间和空间效率。

4．数据库管理系统的主要功能有哪些？
(1) 数据库定义：如 CREATE DATABASE/TABLE
(2) 数据操纵：对数据的增删改查等操作
(3) 数据库控制：多用户下的权限管理和隔离
(4) 数据库维护： 装入初始数据，转储备份，恢复数据，重组织数据库（整理数据的存储位置），性能分析。

5．数据库管理系统有哪几部分组成？
（1）数据和元数据存储
（2）存储管理器
（3）查询处理器
（4）事务管理器
（5) 输入模块—模式修改、查询和修改

6．开发一个数据库管理系统的主要技术难点在哪里？对中国如何尽快开发自己的数据库管理系统，给出你的建议。

1. 数据库设计：数据库的正确设计是成功的关键。这涉及到数据模型选择、标准化、实体关系建立、数据完整性和一致性等方面。设计阶段需要仔细考虑数据需求、业务逻辑和系统性能等因素。
2. 数据库查询优化：数据库的查询性能对于大规模数据处理和复杂查询至关重要。开发人员需要考虑合适的索引策略、查询优化器和物理存储布局，以最大程度地提高查询效率并降低响应时间。
3. 并发控制和事务管理：数据库通常会面临多个用户同时访问和修改数据的情况。为了保证数据的一致性和完整性，开发人员需要实施有效的并发控制和事务管理机制，例如锁管理、并发调度和恢复机制等。
4. 数据安全与隐私：数据库管理系统需要提供有效的安全保护机制，包括用户认证、访问控制、数据加密和安全审计等。此外，保护用户隐私也是一个重要的考虑因素，应遵守相关隐私法规，确保敏感数据的保护。
5. 扩展性和高可用性：随着数据量和用户量的增长，数据库系统需要具备良好的扩展性和高可用性，以支持大规模数据存储和高并发访问。在设计和开发中，需要考虑分布式架构、性能优化、负载均衡和故障恢复等方面。
6. 数据备份和恢复：数据库管理系统需要提供可靠的备份和恢复机制，以保护数据免受硬件故障、软件故障或灾难性事件的影响。定期的数据备份、事务日志和灾难恢复计划都是关键的组成部分。
7. 实时数据处理：许多应用场景要求对实时数据进行处理和查询。这需要数据库管理系统支持高效的实时数据更新和查询，确保在实时操作和分析环境下的高性能和低延迟。

2、数据库设计

要求：给出 E—R 图，将其转换为关系模型、指出转换结果中每个关系的候选键。
例题：现有学生报考系统，实体“考生”有属性：准考证号、姓名、年龄、性别，实体“课程”有属性：课程编号、名称、性质。一名考生可以报考多门课程，考生报考还有报考日期、成绩等信息。

①试画出ER图，并注明属性和联系类型。

②将E-R图转换成关系模型 ，并注明主码和外码

关系模型：
考生（准考证号，姓名，年龄，性别）
课程（课程编号，名称，性质）
报考（准考证号，课程编号，报考日期，成绩）

主码和外码：
考生：准考证号（主码）；
课程：课程编号（主码）；
报考：（准考证号，课程编号）（主码）；准考证号（外码），课程编号（外码）。

第3-4章 分布式数据库和面向对象数据库

1、要求掌握的基本概念和理论

1. 分布式数据库的有哪些特点？

1. 数据是分布的
2. 数据是逻辑相关的
3. 结点自治性

2. 分布式数据库管理系统有哪几部分组成？

1. 局部数据库管理系统(LDBMS)—local
2. 全局数据库管理系统(GDBMS)—global
3. 全局数据字典GDD—global data dictionary
4. 网络通信管理CM—communication management

3. 分布式数据库系统能够提供哪些分布透明性？不同透明性对应用程序的编程有什么影响？
分片透明性：用户不必关心数据是如何分片的。其应用程序的编写与集中式数据库相同。
位置透明性 (较常用）：用户需知道数据在哪个片段，而不必知道所操作的数据放在哪个节点。 数据在结点间的转移不会影响应用程序。
局部映象透明性：该透明性提供数据到局部数据库的映象。在编程时不但需要了解全局关系的分片模式，还需要了解各片段存放的站点。
无透明性

4. 半连接在分布式查询优化中的作用？会计算简单的半连接。
作用：两个关系进行连接操作之前，去掉无用的无组,减少数据传输量，提高查询效率。

5. 试述事务的概念及事务的4 个特性。
概念：事务就是用户定义的一系列执行SQL语句的操作, 这些操作要么完全地执行，要么完全地都不执行，它是一个不可分割的工作执行单元。
事务的四个特性：
原子性：事务是一个不可分割的最小单元，要么全部执行要么不执行
一致性：数据库总是从一个一致性的状态转换到另一个一致性的状态
隔离性：事务更新过的数据在事务结束前对其他事务不可见
持久性：已完成事务对数据的更新应持久，发生故障应恢复

6. 在数据库管理系统中为什么要采用并发控制技术？常用并发控制技术有哪些？
改善系统的资源利用率：对于一个事务来说，在不同阶段使用不同的资源，若并发执行可以交叉使用这些资源，有利于提高系统资源的利用率。
改善短事务的响应时间：若设有两个事务T1 和T2，其中T1是长事务，交付系统在先；T2是短事务，交付系统比T1稍后。如果串行执行，则须等T1执行完毕后才能执行T2。而T2的响应时间会很长。一个长事务的响应时间长一些还可以得到用户的理解，而一个短事务的响应时间过长，用户一般难以接受。如果T1 和T2并发执行，则T2可以和T1重叠执行，可以较快地结束，明显地改善其响应时间。
常用的并发控制技术：
基于封锁的方法、
基于时戳的方法、
版本更新方法。
其中封锁方法在商业化数据库管理技术中使用最为普遍。

7. 什么是两段封锁协议？
什么是：任何事务在对数据操作前必须先获得锁；事务在释放一个锁后不再获得任何锁。
第一阶段是获得封锁，第二阶段是释放封锁

8. 数据库恢复的基本技术有哪些？
转储：定期将整个数据库备份到别处的过程。
日志：由 DBMS 建立和记录日志文件，保存每一次对数据库进行更新操作的有关信息。
检查点机制：为了便于恢复，在日志中每隔一定时间写一个检查点，标识检查点之前已执行完的事务是正确的。

9. 什么是日志文件？为什么要设立日志文件？
  由 DBMS 建立和记录的，用于保存每一次对数据库进行更新操作的有关信息的文件，称为日志文件。DBMS 会先把日志记录写进日志文件，再实际修改数据库。
设立日志文件的作用：
可查看数据库的修改历史；
快速定位故障原因，协助进行故障恢复

10. 面向对象数据库技术的主要难点。（考过）
1.在支持面向对象的概念和控制机制的基础上，同时要具备数据库系统应有的能力
2.数据存放在多种类层次或关系中，写入、查询的并发控制粒度大，性能优化困难。
3.由于类层次的复杂语义和继承性，使模式修改相当复杂
4.尚未标准化，不同的设计开发存在差异。

第5—8章 新型数据库

1. 叙述key/value的数据结构。
域(Domain)＋数据项(Item)
  域类似于传统关系数据库中的“表”，但域无结构，作用是容纳数据项； 数据项用Key定义，一个域中的不同数据项可能具有不同的结构，数据属性全部是字符串类型，但在有些实现中，属性也可以具有简单的类型，如整型、字符串数组等。

2. Key/Value数据模式与关系数据库的比较有哪些优点和缺点？
Key/Value的优点：
–便于扩展，适于云计算的环境
–与应用程序代码的兼容性更好
Key/Value的缺点：
–数据完整性约束转移至应用程序
–目前的很多Key/Value数据存储系统之间不兼容
–在云环境中，很多用户和应用使用同一个系统。为了避免一个进程使共享环境超载，往往严格限制一个单独的查询所能够产生的全局影响。

3. 在数据切分机制中，一致性哈希算法的基本原理是什么？
  一致性哈希算法基本思想就是将对象和cache都映射到同一个hash数值空间中（一致性哈希将整个哈希值空间组织成一个虚拟的圆环），并且使用相同的hash算法。
4．云计算按照服务类型可以分为哪几类？
(1）将基础设施作为服务，laaS (Infrastructure as a Service)，如: Amazon EC2/S3;
(2) 将平台作为服务，PaaS (Platform as a Service)，如: GoogleApp Engine.Microsoft Windows Azure;
(3)将软件作为服务，Saas (Software as a Service)，如: Salesforce online CRM。

5. Google云计算中分布式结构化数据表Bigtable的设计动机是什么?
  需要存储的数据种类繁多：Google目前向公众开放的服务很多，需要处理的数据类型也非常多。包括URL、网页内容、用户的个性化设置在内的数据都是Google需要经常处理的；
  海量的服务请求：Google运行着目前世界上最繁忙的系统，它每时每刻处理的客户服务请求数量是普通的系统根本无法承受的；
  商用数据库无法满足Google的需求：一方面现有商用数据库设计着眼点在于通用性，根本无法满足Google的苛刻服务要求；另一方面对于底层系统的完全掌控会给后期的系统维护、升级带来极大的便利

6. 试比较Hadoop中的数据库HBase和传统关系数据库的不同.（考过）

1. 数据类型：Hbase只有简单的数据类型，只保留字符串；传统数据库有丰富的数据类型。
2. 数据操作：Hbase只有简单的插入、查询、删除、清空等操作，表和表之间是分离的，没有复杂的表和表之间的关系；传统数据库通常有各式各样的函数和连接操作。
3. 存储模式：Hbase是基于列存储的，数据即是索引，降低了系统I/O且可以实现查询的并发处理；传统数据库是基于表格结构和行存储，其没有建立索引将耗费大量的I/O并且建立索引需要耗费大量的时间和资源。
4. 数据维护：Hbase的更新实际上是插入了新的数据；传统数据库只是替换和修改。
5. 可伸缩性：Hbase可以轻松的增加或减少硬件的数目，并且对错误的兼容性比较高；传统数据库需要增加中间层才能实现这样的功能。
6. 事务：Hbase只可以实现单行的事务性，（意味着行与行之间、表与表之前不必满足事务性）传统数据库是可以实现跨行的事务性。

7. 了解MapReduce的基本工作原理。
  MapReduce是Hadoop中一种分布式计算框架，工作原理大致分为两个阶段: Map阶段和Reduce阶段。在Map阶段，数据首先被分割为若干个小数据块，每个数据块由Map函数进行处理，将数据块转换为一组中间键值对(key-value pairs)。在Reduce阶段，将中间键值对按照键值进行排序，相同键值的键值对作为一个组发送到Reduce函数进行处理，最终得到输出结果。（MapReduce的优点是可以高效地处理大规模的数据集，能够并行处理，提高计算速度。）

8. 了解Hadoop中的分布式数据库— Hbase的逻辑模型和物理模型。
逻辑模型
  HBase是Google BigTable的开源实现，大部分特性和BigTable相同，可以理解为是一个稀疏的，长期存储的，多维度的映射表。表中的数据通过一个行关键字(Row Key)、一个列关键字(ColumnKey)以及一个时间戳（Time Stamp)进行索引。其存储逻辑可以表述为：（row：string，column：string，time：int64）->string。
物理模型
  在逻辑上来说，HBase表是稀疏的行的集合，但是在物理上，HBase表是按列分开存储的。即把逻辑模型按行分割，按列族存储。

9. 在亚马逊的分布式Key/value数据存储与管理系统Dynamo中，用到哪些主要技术？用来解决什么问题？
数据定位使用一致性哈希
Vector lock，允许数据的多个备份存在多个版本，提高写操作的可用性（用弱一致性来换取高的可用性）
容错：Sloppy Quorum, hinted handoff, Merkle tree ：Sloppy Quorum马虎仲裁，并非采用严格的数据一致性检查，用于实现最终一致性；hinted handoff，节点故障会恢复时，可动态维护系统可用性，使系统的写入成功大大提升。使用Merkle tree为数据建立索引，只要任意数据有变动，都将快速反馈出来。
网络互联: Gossip-based membership protocol ，一种通讯协议，目标是让节点与节点之间通信，实现去中心化。
Storage load balancing：存储负载均衡

10. 阐述SQL Azure和SQL Server的相同点和不同点。
相同点：
  SQL Azure 基于 SQL Server 技术构建，提供 SQL Server 数据库核心功能，并可使用SQL Server 客户端访问。
不同点：
  用户不能管理 SQL Azure 的物理资源。SQL Azure 不使用 SQL Server 备份机制，所有数据自动备份。
在服务提供方面：
SQL Server 需要配置软硬件环境。 SQL Azure 用户通过注册 Azure 平台账号使用服务。
SQL Azure 不支持部分 Transact-SQL 中指定文件路径的参数。
SQL Azure并不完全支持SQL Server内所有的特性和数据类型。

11. 大数据的4V特征是什么？
Variety（多样化）
  海量数据有不同格式，第一种是结构化，我们常见的数据，还有半结据化网页数据，还有非结构化视频音频数据。文本、图像、视频、机器数据，无模式或者模式不明显，不连贯的语法或句义。
Volume（大量化）
  量比较大，有一些用户化每秒就要进入很多数据，很多客户内部都有几PB数据。
Velocity（快速化）
  因为数据化会存在时效性，需要快速处理，并得到结果出来。
Value（价值低密度）
  大量的不相关信息，不经过处理则价值较低，价值密度底的数据海量数据分析非常复杂，需要新的数据存储和挖掘方法。

12. 分布式数据系统的CAP原理的三要素是什么？
一致性（Consistency）是指执行了一次成功的写操作之后，未来的读操作一定可以读到这个写入的值。
可用性（Availability）(指的是快速获取数据)每一次操作总是能够在确定的时间返回。
分区容忍性（Partition-tolerance）系统中任意信息的丢失或失败不会影响系统的继续运作。

13. 几种主流NoSQL数据库包括哪些？
BigTable：一个分布式的结构化数据存储系统，它被设计用来处理海量数据：通常是分布在数千台普通服务器上的PB级的数据
Dynamo：最初是 Amazon 所使用的一个私有的分布式存储系统，无须一个中
心服务器来记录系统的元数据。
Cassandra：它最初由Facebook开发，用于储存收件箱等简单格式数据，集Google BigTable的数据模型与Amazon Dynamo的完全分布式的架构于一身。
Hbase：Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。
Redis：一个key-value存储系统。 和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)和zset(有序集 合)。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。在此基础上，redis 支持各种不同方式的排序。与memcached一样，为了保证效率，数据都是缓存在内存中。区别的是redis会周期性的把更新的数据写入磁盘或者把修改 操作写入追加的记录文件，并且在此基础上实现了master-slave(主从)
MongoDB：一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。特点是高性能、易部署、易使用，存储数据方便。

14. 数据仓库数据的基本特征是什么？
面向主题（Subject-Oriented ）
  数据仓库是面向主题的,数据仓库通过一个个主题域将多个业务系统的数据加载到一起，为了各个主题（如：用户、订单、商品等）进行分析而建，操作型数据库是为了支撑各种业务而建立。
集成性（Integrated）
  数据仓库会将不同源数据库中的数据汇总到一起,数据仓库中的综合数据不能从原有的数据库系统直接得到。
稳定性（Non-Volatile）
  数据仓库的数据反映的是一段相当长的时间内历史数据的内容，是不同时间点的数据库的集合，以及基于这些快照进行统计、综合和重组的导出数据。数据仓库中的数据一般仅执行查询操作，很少会有删除和更新。但是需定期加载和刷新数据。
随时间变化的（Time-Variant）
  数据仓库包含各种粒度的历史数据。数据仓库的目的是通过分析企业过去一段时间业务的经营状况，挖掘其中隐藏的模式。分析的结果只能反映过去的情况，当业务变化后，挖掘出的模式会失去时效性。因此数据仓库的数据需要定时更新，以适应决策的需要。
注：（数据仓库，是在数据库已经大量存在的情况下，为了进一步挖掘数据资源、为了决策需要而产生的，它决不是所谓的“大型数据库”。）

15.什么是数据挖掘？数据挖掘常用的技术方法哪几种？
  数据挖掘是从海量数据中提取有用信息和模式的过程。它包括数据的收集、提取、分析和统计，也被称为知识发现的过程，即从数据或数据模式分析中进行知识挖掘。这是一个寻找有用信息以找出有用数据的逻辑过程。常用技术方法有人工神经网络、遗传算法、决策树方法、粗集方法等。
此外还有：
分类（Classification）：分类方法用于预测或识别数据实例所属的类别。它基于已知类别的训练样本，构建分类模型，然后将该模型应用于未知数据。常见的分类算法包括决策树、朴素贝叶斯、支持向量机（SVM）和逻辑回归。
聚类（Clustering）：聚类方法将数据分组成具有相似特征的集合，而无需预先定义类别。聚类算法通过计算数据点之间的相似性或距离来确定数据点的归属。常见的聚类算法包括K均值聚类、层次聚类和DBSCAN。
关联规则挖掘（Association Rule Mining）：关联规则挖掘用于发现数据项之间的关联和依赖关系。它可以帮助我们理解不同数据项之间的相关性，并从中发现潜在的关联规则。著名的关联规则算法是Apriori算法。
异常检测（Anomaly Detection）：异常检测方法用于识别与预期模式不符的异常或异常行为。它可以帮助我们检测潜在的欺诈、异常事件或不寻常的行为。常见的异常检测算法包括基于统计的方法、聚类方法和孤立森林。
回归（Regression）：回归分析用于建立数据特征之间的关系模型，并预测一个或多个连续型变量的值。回归算法可以帮助我们理解变量之间的因果关系和趋势。常见的回归算法包括线性回归、多项式回归和支持向量回归（SVR）。
文本挖掘（Text Mining）：文本挖掘方法用于从大规模文本数据中提取有用的信息和知识。它可以帮助我们分析情感、主题、实体等文本属性。文本挖掘常用的技术包括词袋模型、TF-IDF加权、主题建模和情感分析。

16．叙述区块链是怎么做到不可篡改的。
去中心化
  区块链使用去中心化技术，将信息分散保存，任何一台电脑想要单独篡改信息是不可能可，因为没有了中心服务器，单靠一台电脑是无法获取信息的。
可溯源性
  前方数据是后方数据的基础，对某一数据修改后会被区块链系统自动检测到，并一同把被篡改的记录从链上踢掉，之后会自动从其他储存节点上把完整的数据同步过来。
共识信任机制
  借助区块链的算法证明机制，参与整个系统中的每个节点之间，进行数据交换无需建立信任过程，在系统指定的规则范围和时间范围内，节点之间不能也无法欺骗其他节点，即少量节点无法完成造假。

---

2023年11月19日 16点14分
服了啊…补的牙被我硌掉了一块！开了转诊单跑去怀柔医院补牙–被告知今天预约的号已经满了，只能改天再去了。无语了，不管了，明天下午再跑一趟吧，~~去看LOL全球总决赛去了！