1. 事务 —— Transactions
什么是事务
简单来说,就是一个“存档”,覆盖了就不能回档了,但是存在多个挡的话都可以回档。
如果这局玩的不好,某个选项选错了,那么我们可以直接回档。
(注意,事务是“游戏过程”,也就是存的档,而不是“存档”这个行为)
事务就是一组DML语句组成,这些语句在逻辑上存在相关性,这一组DML语句要么全部成功,要么全部失败,是一个整体。
MySQL提供一种机制,保证我们达到这样的效果。事务还规定不同的客户端看到的数据是不相同的。
事务就是要做的或所做的事情,主要用于处理操作量大,复杂度高的数据。
假设一种场景:
你毕业了,学校的教务系统后台 MySQL 中,不在需要你的数据,要删除你的所有信息(一般不会:) ), 那么要删除你的
基本信息(姓名,电话,籍贯等)的同时,也删除和你有关的其他信息,比如:你的各科成绩,你在校表
现,甚至你在论坛发过的文章等。
这样,就需要多条 MySQL 语句构成,那么所有这些操作合起来,就构成了一个事务。
四个属性
正如我们上面所说,一个 MySQL 数据库,可不止你一个事务在运行,同一时刻,甚至有大量的请求被包装成事务,在向 MySQL 服务器发起事务处理请求。而每条事务至少一条 SQL ,最多很多 SQL ,这样如果大家都访问同样的表数据,在不加保护的情况,就绝对会出现问题。甚至,因为事务由多条 SQL 构成,那么,也会存在执行到一半出错或者不想再执行的情况,那么已经执行的怎么办呢?
所以,一个完整的事务,绝对不是简单的 sql 集合,还需要满足如下四个属性:
- 原子性:一个事务(transaction)中的所有操作,要么全部完成,要么全部不完成,不会结束在中间某个环节。事务在执行过程中发生错误,会被回滚(Rollback)到事务开始前的状态,就像这个事务从来没有执行过一样。
- 一致性:在事务开始之前和事务结束以后,数据库的完整性没有被破坏。这表示写入的资料必须完全符合所有的预设规则,这包含资料的精确度、串联性以及后续数据库可以自发性地完成预定的工作。
- 隔离性:数据库允许多个并发事务同时对其数据进行读写和修改的能力,隔离性可以防止多个事务并发执行时由于交叉执行而导致数据的不一致。事务隔离分为不同级别,包括读未提交( Readuncommitted )、读提交( read committed )、可重复读( repeatable read )和串行化( Serializable )
- 持久性:事务处理结束后,对数据的修改就是永久的,即便系统故障也不会丢失。
上面四个属性,可以简称为 ACID 。
原子性(Atomicity,或称不可分割性)
一致性(Consistency)
隔离性(Isolation,又称独立性)
持久性(Durability)。
为什么会出现事务
事务被 MySQL 编写者设计出来,本质是为了当应用程序访问数据库的时候,事务能够简化我们的编程模型,不需要我们去考虑各种各样的潜在错误和并发问题.
可以想一下当我们使用事务时,要么提交,要么回滚,我们不会去考虑网络异常了,服务器宕机了,同时更改一个数据怎么办对吧?因此事务本质上是为了应用层服务的.而不是伴随着数据库系统天生就有的.
备注:我们后面把 MySQL 中的一行信息,称为一行记录
事务的版本支持
在 MySQL 中只有使用了 Innodb 数据库引擎的数据库或表才支持事务, MyISAM 不支持。
看当前有多少人在连接我们的数据库
2. 事务的操作
InnoDB 支持事务, MyISAM 不支持事务
开始事务:
start transaction;
begin;
结束事务——提交:
commit;
save ; rollback to
save 就像存档:
回滚读档:
可以选择回退到哪个保存点
直接 rollback 就全部没有了。
commit , autocommit
事务提交方式 :
- 自动提交
- 手动提交
查看事务提交方式:
mysql> show variables like 'autocommit';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| autocommit | ON |
+---------------+-------+
1 row in set (0.41 sec)
规则:
- 只要输入begin或者start transaction,事务便必须要通过commit提交,才会持久化,与是否设置set autocommit无关。
- 对于 InnoDB 每一条 SQL 语言都默认封装成事务,自动提交。(select有特殊情况,因为MySQL 有 MVCC )
回滚:
- 事务可以手动回滚,同时,当操作异常,MySQL会自动回滚
- 如果没有设置保存点,也可以回滚,只能回滚到事务的开始。直接使用 rollback(前提是事务还没有提交)
- 如果一个事务被提交了(commit),则不可以回退(rollback)
事务本身的原子性 -> 回滚,持久性 -> commit
自动提交开关:
关闭自动提交
单SQL语句本质也是事务,如果关闭自动提交,输入commit即可提交。
如果不提交,与sql服务器中断后,数据会消失(幻读)
3. 事务隔离性理论
如何理解隔离性
MySQL服务可能会同时被多个客户端进程(线程)访问,访问的方式以事务方式进行。一个事务可能由多条SQL构成,也就意味着,任何一个事务,都有执行前,执行中,执行后的阶段。
而所谓的原子性,其实就是让用户层,要么看到执行前,要么看到执行后。执行中出现问题,可以随时回滚。所以单个事务,对用户表现出来的特性,就是原子性。
但毕竟所有事务都要有个执行过程,那么在多个事务各自执行多个SQL的时候,就还是有可能会出现互相影响的情况。(比如:多个事务同时访问同一张表,甚至同一行数据。 就如同你妈妈给你说:你要么别学,要学就学到最好。至于你怎么学,中间有什么困难,你妈妈不关心。那么你的学习,对你妈妈来讲,就是原子的。那么你学习过程中,很容易受别人干扰,此时,就需要将你的学习隔离开,保证你的学习环境是健康的。)
- 数据库中,为了保证事务执行过程中尽量不受干扰,就有了一个重要特征:隔离性
- 数据库中,允许事务受不同程度的干扰,就有了一种重要特征:隔离级别
隔离级别
- 读未提交【Read Uncommitted】: 在该隔离级别,所有的事务都可以看到其他事务没有提交的执行结果。(实际生产中不可能使用这种隔离级别的),但是相当于没有任何隔离性,也会有很多并发问题,如脏读,幻读,不可重复读等,我们上面为了做实验方便,用的就是这个隔离性。
- 读提交【Read Committed】 :该隔离级别是大多数数据库的默认的隔离级别(不是 MySQL 默认的)。它满足了隔离的简单定义:一个事务只能看到其他的已经提交的事务所做的改变。这种隔离级别会引起不可重复读,即一个事务执行时,如果多次 select, 可能得到不同的结果。
- 可重复读【Repeatable Read】: 这是 MySQL 默认的隔离级别,它确保同一个事务,在执行中,多次读取操作数据时,会看到同样的数据行。但是会有幻读问题。
- 串行化【Serializable】: 这是事务的最高隔离级别,它通过强制事务排序,使之不可能相互冲突,从而解决了幻读的问题。它在每个读的数据行上面加上共享锁,。但是可能会导致超时和锁竞争(这种隔离级别太极端,实际生产基本不使用)
隔离级别 | 脏读 | 不可重复读 | 幻读 | 加锁读 |
---|---|---|---|---|
读未提交 | √ | √ | √ | 不加锁 |
读已提交 | × | √ | √ | 不加锁 |
可重复读 | × | × | × | 不加锁 |
可串行化 | × | × | × | 不加锁 |
隔离级别如何实现:
隔离,基本都是通过锁实现的,不同的隔离级别,锁的使用是不同的。常见有,表锁,行锁,读锁,写锁,间隙锁(GAP),Next-Key锁(GAP+行锁)等。
不过,我们目前现有这个认识就行,先关注上层使用。
操作
查看全局隔级别
mysql> SELECT @@global.tx_isolation;
+-----------------------+
| @@global.tx_isolation |
+-----------------------+
| REPEATABLE-READ |
+-----------------------+
1 row in set, 1 warning (0.00 sec)
查看会话(当前)全局隔级别
两种一样
mysql> SELECT @@session.tx_isolation;
+------------------------+
| @@session.tx_isolation |
+------------------------+
| REPEATABLE-READ |
+------------------------+
1 row in set, 1 warning (0.00 sec)
mysql> SELECT @@tx_isolation; --默认同上
+-----------------+
| @@tx_isolation |
+-----------------+
| REPEATABLE-READ |
+-----------------+
1 row in set, 1 warning (0.00 sec)
设置当前对话/全局隔离级别
SET [SESSION | GLOBAL] TRANSACTION ISOLATION LEVEL {READ UNCOMMITTED | READCOMMITTED | REPEATABLE READ | SERIALIZABLE}
全局隔离级别就是每次新登录时会话的默认级别。
在一个会话中改掉全局隔离级别,不影响当前存在的所有会话的隔离级别。
设置当前会话:
mysql> set session transaction isolation level serializable;
Query OK, 0 rows affected (0.00 sec)
设置全局会话:
mysql> set global transaction isolation level READ UNCOMMITTED;
Query OK, 0 rows affected (0.00 sec)
RU 读未提交 【Read Uncommitted】
(这四个类型的介绍都是两个事务一起开始才需要“隔离级别”,所以介绍的内容是两个终端登录同一个数据库,使用同一个数据库并且都在begin开始一个事务时发生的现象)
– 几乎没有加锁,虽然效率高,但是问题太多,严重不建议采用
我写了你立马就能看见。我不提交,刚才的操作全部都没了,和最初一样了(别人不操作的情况下),这个别人也立马能看见。
RC 读提交 【Read Committed】
我改了,你不会立马看到,但是我提交了,你就会立马看到,哪怕你在一个事务中。
不可重复读
那么就造成了,同一个事务内,同样的读取,在不同的时间段(依旧还在事务操作中!),读取到了不同的值,这种现象叫做不可重复读(non reapeatable read)!!
RR 可重复读 【Repeatable Read】
在我提交前,外部的一切操作我都看不到。
幻读
MySQL在RR级别的时候,是解决了幻读问题的(解决的方式是用Next-Key锁(GAP+行锁)解决的。)
但是,一般的数据库在可重复读情况的时候,无法屏蔽其他事务insert的数据(为什么?因为隔离性实现是对数据加锁完成的,而insert待插入的数据因为并不存在,那么一般加锁无法屏蔽这类问题),会造成虽然大部分内容是可重复读的,但是insert的数据在可重复读情况被读取出来,导致多次查找时,会多查找出来新的记录,就如同产生了幻觉。这种现象,叫做幻读(phantom read)。
S 串行化 【Serializable】
–对所有操作全部加锁,进行串行化,不会有问题,但是只要串行化,效率很低,几乎完全不会被采用
你在看的时候,我做删除操作会阻塞,直到你提交。
总结
- 隔离级别越严格,安全性越高,但数据库的并发性能也就越低,往往需要在两者之间找一个平衡点。
幻读和不可重复读
- 不可重复读的重点是修改和删除:
同样的条件, 你读取过的数据,再次读取出来发现值不一样了 - 幻读的重点在于新增:
同样的条件, 第1次和第2次读出来的记录数不一样
不可重复读是指某行数据变了
幻读指相同的查询给出不同的结果。
一致性(Consistency)
-
事务执行的结果,必须使数据库从一个一致性状态,变到另一个一致性状态。当数据库只包含事务成功提交的结果时,数据库处于一致性状态。如果系统运行发生中断,某个事务尚未完成而被迫中断,而改未完成的事务对数据库所做的修改已被写入数据库,此时数据库就处于一种不正确(不一致)的状态。因此一致性是通过原子性来保证的。
-
其实一致性和用户的业务逻辑强相关,一般MySQL提供技术支持,但是一致性还是要用户业务逻辑做支撑,也就是,一致性,是由用户决定的。
-
而技术上,通过AID保证C
推荐阅读:
Mysql 间隙锁原理,以及Repeatable Read隔离级别下可以防止幻读原理(百度)
4. MVCC机制
多版本并发控制 MVCC(Multi-Version Concurrency Control)是一种用来解决 读-写冲突 的无锁并发控制:
- 为事务分配单向增长的事务ID,为每个修改保存一个版本,版本与事务ID关联,读操作只读该事务开始前的数据库的快照。(存在隐藏列中)
所以 MVCC 可以为数据库解决以下问题:
· 在并发读写数据库时,可以做到在读操作时不用阻塞写操作,写操作也不用阻塞读操作,提高了数据库并发读写的性能
· 同时还可以解决脏读,幻读,不可重复读等事务隔离问题,但不能解决更新丢失问题
理解 MVCC 需要知道三个前提知识:
- 3个记录隐藏字段
- undo 日志
- Read View
3个记录隐藏列字段
- DB_TRX_ID :6 byte,最近修改( 修改/插入 )事务ID,记录创建这条记录/最后一次修改该记录的事务ID
- DB_ROLL_PTR : 7 byte,回滚指针,指向这条记录的上一个版本(简单理解成,指向历史版本就行,这些数据一般在 undo log 中)
- DB_ROW_ID : 6 byte,隐含的自增ID(隐藏主键),如果数据表没有主键, InnoDB 会自动以DB_ROW_ID 产生一个聚簇索引
- 补充:实际还有一个删除flag隐藏字段, 既记录被更新或删除并不代表真的删除,而是删除flag变了
示例:
mysql> create table if not exists student(
name varchar(11) not null,
age int not null
);
mysql> insert into student (name, age) values ('张三', 28);
Query OK, 1 row affected (0.05 sec)
mysql> select * from student;
+--------+-----+
| name | age |
+--------+-----+
| 张三 | 28 |
+--------+-----+
1 row in set (0.00 sec)
上面描述的意思是:
name | age | DB_TRX_ID(创建该记录的事务ID) | DB_ROW_ID(隐式主键) | DB_ROLL_PTR(回滚指针) |
---|---|---|---|---|
张三 | 28 | null | 1 | null |
undo日志
MySQL 将来是以服务进程的方式,在内存中运行。
我们之前所讲的所有机制:索引,事务,隔离性,日志等,都是在内存中完成的,即在 MySQL 内部的相关缓冲区中,保存相关数据,完成各种判断操作。然后在合适的时候,将相关数据刷新到磁盘当中的。
所以,我们这里理解undo log,简单理解成,就是 MySQL 中的一段内存缓冲区,用来保存日志数据的就行。
每次修改前,现将该行记录拷贝到undo log中 (所以,undo log中就又有了一行副本数据。新的副本,我们采用头插方式,插入undo log。)
这样,我们就有了一个基于链表记录的历史版本链。
所谓的回滚,无非就是用历史数据,覆盖当前数据。
上面的一个一个版本,我们称之为一个一个的快照。
关于不同操作:
update
上面是以更新(upadte
)主讲的,如果是delete
呢?
一样的,别忘了,删数据不是清空,而是设置flag为删除即可。也可以形成版本。
insert
update
和delete
可以形成版本链,insert
暂时不考虑。
因为insert
是插入,也就是之前没有数据,那么insert
也就没有历史版本。
但是一般为了回滚操作,insert的数据也是要被放入undo log中,如果当前事务commit了,那么这个undolog 的历史insert记录就可以被清空了。
select
select
不会对数据做任何修改,所以,为select
维护多版本,没有意义。
select读取,是读取最新的版本呢?还是读取历史版本?
当前读
读取最新的记录,就是当前读。
增删改,都叫做当前读,select也有可能当前读,比如:
select lock in share mode(共享锁),
select for update
快照读
读取历史版本(一般而言)
- 如果在多个事务同时删改查的时候,都是当前读,是要加锁的。那同时有select过来,如果也要读取最新版(当前读),那么也就需要加锁,这就是串行化。
- 如果是快照读,读取历史版本的话,是不受加锁限制的。也就是可以并行执行!换言之,提高了效率,即MVCC的意义所在。
是什么决定了,select是当前读,还是快照读呢?
隔离级别!
为什么要有隔离级别呢?
事务都是原子的。所以,无论如何,事务总有先有后。
事务从begin->CURD->commit,是有一个阶段的。也就是事务有执行前,执
行中,执行后的阶段。但,不管怎么启动多个事务,总是有先有后的。
那么多个事务在执行中,CURD操作是会交织在一起的。那么,为了保证事务的“有先有后”,是不是应该让不同的事务看到它该看到的内容,这就是所谓的隔离性与隔离级别要解决的问题。
如何保证,不同的事务,看到不同的内容呢?也就是如何如何实现隔离级别?:
ReadView
Read View就是事务进行快照读操作的时候生产的读视图。
在该事务执行的快照读的那一刻,会生成数据库系统当前的一个快照,记录并维护系统当前活跃事务的 ID (当每个事务开启时,都会被分配一个ID, 这个ID是递增的,所以最新的事务,ID值越大)
Read View 在 MySQL 源码中,就是一个类,本质是用来进行可见性判断的。
即当我们某个事务执行快照读的时候,对该记录创建一个 Read View 读视图,把它比作条件,用来判断当前事务能够看到哪个版本的数据(既可能是当前最新的数据,也有可能是该行记录的 undo log 里面的某个版本的数据。)
简化的 ReadView 结构
class ReadView {
// 省略...
private:
/** 高水位,大于等于这个ID的事务均不可见*/
trx_id_t m_low_limit_id
/** 低水位:小于这个ID的事务均可见 */
trx_id_t m_up_limit_id;
/** 创建该 Read View 的事务ID*/
trx_id_t m_creator_trx_id;
/** 创建视图时的活跃事务id列表*/
ids_t m_ids;
/** 配合purge,标识该视图不需要小于m_low_limit_no的UNDO LOG,
* 如果其他视图也不需要,则可以删除小于m_low_limit_no的UNDO LOG*/
trx_id_t m_low_limit_no;
/** 标记视图是否被关闭*/
bool m_closed;
// 省略...
};
m_ids
一张列表,用来维护Read View生成时刻,系统正活跃的事务ID
没有自己,自己是后面的 creator_trx_id
up_limit_id;
记录m_ids列表中事务ID最小的ID(没有写错)
(这里可以这样理解:先来的数字是小的,而先来算 up )
low_limit_id;
ReadView生成时刻系统尚未分配的下一个事务ID,也就是目前已出现过的事务ID的
最大值+1(也没有写错)
creator_trx_id
创建该ReadView的事务ID
我们在实际读取数据版本链的时候,是能读取到每一个版本对应的事务ID的,即 DB_TRX_ID 。
那么,我们现在手里面有的东西就有:
当前快照读的 ReadView 和 版本链中的某一个记录的DB_TRX_ID 。
当前快照读,应不应该读到当前版本记录?
图解:
对应源码策略:
参数 id 和 表
<具体看看上面图解的“思维误区”>
如果是旧 id 或者自己肯定可视;
如果比最新 id 还大,那就是还没到来的事务,肯定不可视。如果不超过,而且现在没有事务了,那就可视(是原有的且提交了)
(学习自 MySQL 在 RC 隔离级别下是如何实现读不阻塞的?)
/** Check whether the changes by id are visible.
@param[in] id transaction id to check against the view
@param[in] name table name
@return whether the view sees the modifications of id.*/
bool changes_visible(
trx_id_t id,
const table_name_t& name) const
MY_ATTRIBUTE((warn_unused_result))
{
ut_ad(id > 0);
if (id < m_up_limit_id || id == m_creator_trx_id) {
return (true);
}
check_trx_id_sanity(id, name);
if (id >= m_low_limit_id) {
return (false);
} else if (m_ids.empty()) {
return (true);
}
const id_t::value_type* p = m_ids.data();
return (std::binary_search(p, p + m_ids.size(), id));
}
一个流程:
概念不易理解,看一遍细节就懂了。
5. RR 与 RC的本质区别
select * from user lock in share mode ,以加共享锁方式进行读取,对应的就是当前读。
测试表:
--设置RR模式下测试
mysql> set global transaction isolation level REPEATABLE READ;
Query OK, 0 rows affected (0.00 sec)
--重启终端
mysql> select @@tx_isolation;
+-----------------+
| @@tx_isolation |
+-----------------+
| REPEATABLE-READ |
+-----------------+
1 row in set, 1 warning (0.00 sec)
--依旧用之前的表
create table if not exists account(
id int primary key,
name varchar(50) not null default '',
blance decimal(10,2) not null default 0.0
)ENGINE=InnoDB DEFAULT CHARSET=UTF8;
--插入一条记录,用来测试
mysql> insert into user (id, age, name) values (1, 15,'黄蓉');
Query OK, 1 row affected (0.00 sec)
测试:
两个同时开始的事务,都是左边做修改,
唯一区别是右边,第一个开始就select了,第二个等左边提交后才select。
- 事务中快照读的结果是非常依赖该事务首次出现快照读的地方,即某个事务中首次出现快照读,决定该事务后续快照读结果的能力
但也符合 - delete同样如此
RR 与 RC的本质区别
- 正是Read View生成时机的不同,从而造成RC,RR级别下快照读的结果的不同
在RR级别下的某个事务的对某条记录的第一次快照读会创建一个快照及Read View, 将当前系统活跃的其他事务记录起来。
此后在调用快照读的时候,还是使用的是同一个Read View,所以只要当前事务在其他事务提交更新之前使用过快照读,那么之后的快照读使用的都是同一个Read View,所以对之后的修改不可见; —— 可重复读
即RR级别下,快照读生成Read View时,Read View会记录此时所有其他活动事务的快照,这些事务的修改对于当前事务都是不可见的。而早于Read View创建的事务所做的修改均是可见
而在RC级别下的,事务中,每次快照读都会新生成一个快照和Read View, 这就是我们在RC级别下的事务中可以看到别的事务提交的更新的原因。
正是RC每次快照读,都会形成Read View,所以,RC才会有不可重复读问题。
- 总之在RC隔离级别下,是每个快照读都会生成并获取最新的Read View;而在RR隔离级别下,则是同一个事务中的第一个快照读才会创建Read View, 之后的快照读获取的都是同一个Read View。