数据库-数据库系统原理

本篇文章是对https://github.com/CyC2018/CS-Notes的学习

目录

存储引擎

1 事务

概念

ACID

2 并发一致性问题

丢失修改

读脏数据

不可重复度

幻影读

3 封锁

封锁粒度

封锁类型

封锁协议

MySQL的隐式与显示锁定

4 隔离级别

未提交读（READ UNCOMMITTED）

提交读（READ COMMITTED）

可重复度（REPEATABLE READ）

可串行化（SERIALIZABLE）

5 多版本并发控制

版本号

隐藏的列

Undo日志

实现过程

快照读与当前读

6 Next-Key Locks

Record Locks

Gap Locks

Next-Key Locks

7 关系数据库设计理论

函数依赖

异常

范式

8 ER图

实体的三种联系

表示出现多次的关系

联系的多向性

表示子类

---

 

存储引擎

存储引擎是什么？

MySQL中的数据用各种不同的技术存储在文件（或者内存中）。这些技术中的每一种技术都使用不同的存储机制、索引技巧、锁定水平并且最终提供广泛的不同的功能和能力。通过选择不同的技术，你能够获得额外的速度或功能，从而改善你的应用的整体功能。这些不同的技术及配套的相关功能在MySQL中被称作存储引擎（也称作表类型）。存储引擎负责MySQL中数据的存储和提取。存储引擎不会去解析API，不同存储引擎之间也不会相互通信，而是简单的响应上层服务器的请求。

1 事务

• 概念

事务指的是满足ACID特性的一组操作，可以通过commit提交一个事务，也可以通过rollback回滚一个事务。事务就是访问数据库的一个操作序列，这些操作要么全部执行，要么全部执行。

• ACID

• 1 原子性（Atomicity）

原子性是指事务包含的所有操作要么全部成功，要么全部失败回滚。事务的操作如果成功将全部应用到数据库中，如果操作失败则不能对数据库有任何影响。

• 2 一致性（Consistency）

一致性是指事务必须使数据库从一个一致性状态变换到另一个一致性状态。在一致性状态下，所有事务对一个数据的读取结果都是一致的。即事务的执行使得数据库从一个正确得状态转换成另一个正确的状态。

• 3 隔离性（Isolation）

一个事务在最终提交之前，对其它事务是不可见的。

• 4 持久性（Durability）

一旦事务提交，其所做的修改将会永远保存到数据库中，即使系统发生崩溃，事务的执行也不能丢失。

事务的ACID特性概念简单，但不是很好理解，主要原因是因为这几个特性不是一种平级关系：

• 只有满足一致性，事务的执行结果才是正确的。
• 在无并发的情况下，事务串行执行，隔离性一定能够满足。此时只要能满足原子性，就一定能满足一致性。
• 在并发的情况下，多个事务并发执行，事务不仅要满足原子性，还要满足隔离性，才能满足一致性。
• 事务满足持久化是为了应对数据库崩溃的情况。

2 并发一致性问题

在并发的情况下，事务的隔离性很难保证，因此会出现很多并发一致性问题。

• 丢失修改

T1 和 T2 两个事务都对一个数据进行修改，T1 先修改，T2 随后修改，T2 的修改覆盖了 T1 的修改。

A、B两个事务都某个数据进行修改，A先修改，B后修改，那么B的修改就会覆盖A 的修改，A的修改就会丢失。

• 读脏数据

T1 修改一个数据，T2 随后读取这个数据。如果 T1 撤销了这次修改，那么 T2 读取的数据是脏数据。

A在对一个数据进行修改，B这个时候读到了修改后的数据，A又撤销了对数据的修改。

• 不可重复度

T2 读取一个数据，T1 对该数据做了修改。如果 T2 再次读取这个数据，此时读取的结果和第一次读取的结果不同。

事务A多次读取同一个数据，事务B在事务A多次读取的过程中，对数据做了更新并提交，导致事务A多次读取的结果不一致。

• 幻影读

T1 读取某个范围的数据，T2 在这个范围内插入新的数据，T1 再次读取这个范围的数据，此时读取的结果和和第一次读取的结果不同。

不可重复读和幻影读和容易混淆，不可重复读侧重于修改，幻影读侧重于新增或删除。解决不可重复度的问题只需要锁住满足条件的行，解决幻影读需要锁表。

产生并发不一致性问题主要原因是破坏了事务的隔离性，解决方法是通过并发控制来保证隔离性，并发控制可以通过封锁来实现，但是封锁操作需要用户自己控制，相当复杂。数据库管理系统提供了事务隔离级别，让用户以一种更轻松的方式处理并发一种性问题。

3 封锁

• 封锁粒度

Mysql中提供了两种封锁粒度：行级锁和表级锁。

应当尽量只锁定需要修改的那部分数据，而不是所有的资源。锁定的数据量越少，发生锁争用的可能就越小，系统的并发程度就越高。

但是加锁需要消耗资源，锁的各种操作（包括获取锁、释放锁、以及检查锁状态）都会增加系统开销。因此封锁粒度越小，系统开销就越大。

在选择封锁粒度的时候，需要在锁开销和并发程度之间做一个平衡。

• 封锁类型

• 1 读写锁

排它锁：简写为X锁，又称写锁

共享锁：简写为S锁，又称读锁。

有以下两个规定：

一个事务对对象A加了X锁，就可以对A进行读取和更新，在锁期间其它事务不能对A加任何锁。

一个事务对对象A加了S锁，可以对A进行读取操作，但不能进行更新操作。加锁期间其它事务能对A加S锁，但是不能加X锁。

• 2 意向锁

使用意向锁可以更容易地支持多粒度封锁。在存在行级锁和表级锁地情况下，事务T想对表A加X锁，就需要先检查是否有其它事务对表A或者表A中地任意一行加了锁，那么就需要对表A地每一行检测一次，这是非常耗时的。

意向锁在原来的X/S锁之上引入了IX/IS锁，用来表示一个事务想要在表中的某个数据行上加上X锁或者S锁，有以下两个规定：

一个事务在获得某个数据行对象得S锁之前，必须先获得表得IS锁或者更强的锁。

一个事务在获得某个数据行对象的X锁之前，必须先获得表的IX锁。

通过引入意向锁，事务 T 想要对表 A 加 X 锁，只需要先检测是否有其它事务对表 A 加了 X/IX/S/IS 锁，如果加了就表示有其它事务正在使用这个表或者表中某一行的锁，因此事务 T 加 X 锁失败。

理解：当一个事务要对一个数据行加S或X锁之前，都会对表加IS锁或IX锁，这样在想要对表进行X之前，就能很容易判断是否有数据在对表中的数据行进行X或者S操作。

任意 IS/IX 锁之间都是兼容的，因为它们只是表示想要对表加锁，而不是真正加锁；

S 锁只与 S 锁和 IS 锁兼容，也就是说事务 T 想要对数据行加 S 锁，其它事务可以已经获得对表或者表中的行的 S 锁。

• 死锁

死锁是指两个或多个事务在同一个资源上相互占有，并且请求锁定对方占用的资源。从而导致恶性循环的现象。

为了解决这种问题，数据库系统实现了各种死锁检测和死锁超时机制。死锁检测，检测到死锁的循环依赖后返回一个错误；死锁超时，当查询的时间到达锁等待超时的设定后自动放弃锁请求。InnoDB处理死锁的方式是：将持有最少行级排它锁的事务进行回滚。

• 封锁协议

• 1 三级封锁协议

一级封锁协议：事务T要修改数据A时必须加X锁，直到事务T结束才释放。

可以解决丢失修改问题，因为不能同时有两个事务对同一个数据进行修改，那么事务的修改就不会被覆盖。

二级封锁协议：在一级的基础上，要求读取数据A时必须加S锁，读取完马上释放锁。

可以解决读脏数据的问题，因为一个事务对数据A进行修改，根据一级封锁协议，会加X锁，那么久不能再加S锁了，也就是不会读入脏数据。

三级封锁协议：在二级的基础上，要求读取数据A时必须加S锁，直到事务结束了才能释放S锁。

可以解决不可重复读的问题，因为读A时，其它事务不能对A加X锁，从而避免了在读期间数据发生改变。

• 两段锁协议

加锁和解锁分为两个阶段进行。

可串行化调度是指，通过并发控制，使得执行事务的结果与某个串行执行的事务结果相等。

事务遵循两段锁协议是保证可串行化调度的充分条件。例如以下操作满足两段锁协议，它是可串行化调度的

lock-x(A)...lock-s(B)...lock-s(C)...unlock(A)...unlock(C)...unlock(B)

但不是必要条件，例如以下操作不满足两段锁协议，但是它还是可串行化调度。

lock-x(A)...unlock(A)...lock-s(B)...unlock(B)...lock-s(C)...unlock(C)

可串行化调度是并行事务正确性的准则，两段锁协议是事务能够进行串行化调度的充分条件。

• MySQL的隐式与显示锁定

MySQL 的 InnoDB 存储引擎采用两段锁协议，会根据隔离级别在需要的时候自动加锁，并且所有的锁都是在同一时刻被释放，这被称为隐式锁定。

InnoDB 也可以使用特定的语句进行显示锁定：

SELECT ... LOCK In SHARE MODE;
SELECT ... FOR UPDATE;

4 隔离级别

• 未提交读（READ UNCOMMITTED）

事务中的修改，即使没有提交，对其它事务也是可见的。

• 提交读（READ COMMITTED）

一个事务只能读取已经提交的事务所做的修改。换句话说，一个事务所做的修改在提交之前对其它事务是不可见的。

• 可重复度（REPEATABLE READ）

保证在同一个事务中多次读取同样的数据结果是一样的。

• 可串行化（SERIALIZABLE）

强制事务串行执行。通过加索实现，而其它隔离级别通常不需要。

5 多版本并发控制

多版本并发控制（Multi-Version Concurrency Control, MVCC）是MySQL的InnoDB存储引擎实现隔离级别的一种具体方式，用于实现提交读和可重复读这两种隔离级别。而未提交读隔离级别总是读取最新的数据行，无需使用MVCC。可串行化隔离级别需要对所有读取的行都加锁，单纯使用MVCC无法实现。MVCC是通过保存数据在某个事件节点的快照来实现的。可视为行锁的变种，非阻塞的读操作，写需要加X锁。

• 版本号

系统版本号:是一个递增的数字，没开始一个新事务，系统版本号会自动递增。

事务版本号：事务开始时的系统版本号。

• 隐藏的列

MVCC在每行记录后面都保存着两个隐藏的列，用来存储两个版本号：

创建版本号：指示创建一个数据行快照时的系统版本号

删除版本号：如果该快照的删除版本号大于当前事务版本号表示该快照有效，否则就表示该快照已经被删除。

• Undo日志

MVCC 使用到的快照存储在 Undo 日志中，该日志通过回滚指针把一个数据行（Record）的所有快照连接起来。

• 实现过程

以下实现过程针对可重复度隔离级别。

当开始一个事务的时候，该事务的版本号肯定大于当前所有数据行快照的创建版本号，理解这一点很关键。数据行快照的创建版本号是创建数据行快照时的系统版本号，系统版本号随着创建事务而递增，因此新创建一个事务时，这个事务的系统版本号比之前的系统版本号都大，也就是比所有数据行快照的创建版本号都大。

• 1 SELECT

多个事务必须读取到同一个数据行的快照，并且这个快照是距离现在最近的一个有效快照。但是也有例外，如果有一个事务正在修改该数据行，那么它可以读取事务本身所做的修改，而不用和其它事务的读取结果一致。

把没有对一个数据行做修改的事务称为 T，T 所要读取的数据行快照的创建版本号必须小于 T 的版本号，因为如果大于或者等于 T 的版本号，那么表示该数据行快照是其它事务的最新修改，因此不能去读取它。除此之外，T 所要读取的数据行快照的删除版本号必须大于 T 的版本号，因为如果小于等于 T 的版本号，那么表示该数据行快照是已经被删除的，不应该去读取它。

• 2 INSERT

将当前系统版本号作为数据行快照的创建版本号。

• 3 DELETE

将当前系统版本号作为数据行快照的删除版本号。

• 4 UPDATE

将当前系统版本号作为更新前的数据行快照的删除版本号，并将当前系统版本号作为更新后的数据行快照的创建版本号。可以理解为先执行 DELETE 后执行 INSERT。

• 快照读与当前读

• 1 快照读

使用 MVCC 读取的是快照中的数据，这样可以减少加锁所带来的开销。

select * from table ...;

• 2 当前读

读取的是最新的数据，需要加锁。以下第一个语句需要加 S 锁，其它都需要加 X 锁。

select * from table where ? lock in share mode;
select * from table where ? for update;
insert;
update;
delete;

6 Next-Key Locks

Next-Key Locks是MySQL的InnoDB存储引擎的一种锁实现

MVCC不能解决幻影读问题，Next-Key Locks就是为了解决这个问题而存在的。在可重复度隔离级别下，使用MVCC+Next-Key Locks可以解决幻读问题。

• Record Locks

锁定一个记录上的索引，而不是记录本身

如果表没有设置索引，InnoDB会自动在主键上创建隐藏的聚簇索引，因此Record Locks 依然可以使用。

• Gap Locks

锁定索引之间的间隙，但是不包含索引本身。例如当一个事务执行以下语句，其它事务就不能在 t.c 中插入 15。

SELECT c FROM t WHERE c BETWEEN 10 and 20 FOR UPDATE;

• Next-Key Locks

它是 Record Locks 和 Gap Locks 的结合，不仅锁定一个记录上的索引，也锁定索引之间的间隙。例如一个索引包含以下值：10, 11, 13, and 20，那么就需要锁定以下区间：

(-∞, 10]
(10, 11]
(11, 13]
(13, 20]
(20, +∞)

7 关系数据库设计理论

• 函数依赖

记 A->B 表示 A 函数决定 B，也可以说 B 函数依赖于 A。

如果 {A1，A2，... ，An} 是关系的一个或多个属性的集合，该集合函数决定了关系的其它所有属性并且是最小的，那么该集合就称为键码。

对于 A->B，如果能找到 A 的真子集 A'，使得 A'-> B，那么 A->B 就是部分函数依赖，否则就是完全函数依赖。

对于 A->B，B->C，则 A->C 是一个传递函数依赖。

• 异常

以下的学生课程关系的函数依赖为 {Sno, Cname} -> {Sname, Sdept, Mname, Grade}，键码为 {Sno, Cname}。也就是说，确定学生和课程之后，就能确定其它信息。

不符合范式的关系，会产生很多的异常，主要有以下四种异常：

冗余数据：例如学生-2出现了两次

修改异常：修改了一个记录中的信息，但是另一个记录中相同的信息却没有被修改。

删除异常：删除一个信息，那么也会丢失其它信息。例如删除了 课程-1 需要删除第一行和第三行，那么 学生-1 的信息就会丢失。

插入异常：例如想要插入一个学生的信息，如果这个学生还没选课，那么就无法插入。

• 范式

范式理论是为了解决以上提到四种异常。高级别范式的依赖于低级别的范式，1NF 是最低级别的范式。

• 1 第一范式（1NF)

属性不可分。

• 2 第二范式（2NF)

每个非主属性完全函数依赖于键码。可以通过分解来满足。

分解前：

以上学生课程关系中，{Sno, Cname} 为键码，有如下函数依赖：

Sno -> Sname, Sdept

Sdept -> Mname

Sno, Cname-> Grade

Grade 完全函数依赖于键码，它没有任何冗余数据，每个学生的每门课都有特定的成绩。Sname, Sdept 和 Mname 都部分依赖于键码，当一个学生选修了多门课时，这些数据就会出现多次，造成大量冗余数据。

分解后： 

关系-1：

有如下依赖关系：

Sno -> Sname, Sdept

Sdept -> Mname

关系-2

有以下函数依赖：

Sno, Cname -> Grade

• 3 第三范式（3NF)

非主属性不传递函数依赖于键码。

上面的 关系-1 中存在以下传递函数依赖：

可以进行以下分解：

关系-11

关系-12

8 ER图

Entity-Relationship，有三个组成部分：实体、属性、联系。

用来进行关系型数据库系统的概念设计。

• 实体的三种联系

包含一对一、一对多、多对多三种。

• 如果 A 到 B 是一对多关系，那么画个带箭头的线段指向 B；
• 如果是一对一，画两个带箭头的线段；
• 如果是多对多，画两个不带箭头的线段。

下图的 Course 和 Student 是一对多的关系。

• 表示出现多次的关系

一个实体在联系出现几次，就要用几条线连接。

下图表示一个课程的先修关系，先修关系出现两个 Course 实体，第一个是先修课程，后一个是后修课程，因此需要用两条线来表示这种关系。

• 联系的多向性

虽然老师可以开设多门课，并且可以教授多名学生，但是对于特定的学生和课程，只有一个老师教授，这就构成了一个三元联系。

• 表示子类

用一个三角形和两条线来连接类和子类，与子类有关的属性和联系都连到子类上，而与父类和子类都有关的连到父类上。