3.1 什么是事务?
提到事物,我们非常熟悉,在和数据库打交道的时候,我们总是会用到事务,最经典的例子,就是转账,你给朋友小王,转100块钱,此时你的银行卡,只有100块钱。简单来说,事务就是要保证一组数据库操作,要么全部成功,要么全不失败。在Mysql中,事务的支持,是在引擎层面实现的。你现在知道,Mysql是一个支持多级引擎的系统,但并不是所有的引擎,都支持事务,如Mysql原生的MyISAM引擎,就不支持事务,这也就是MySam被InnoDB取代的重要原因之一。
3.2 事务的隔离性和隔离级别。
提到事物,会想到事物的ACID。原子性,一致性,隔离性和持久性。今天我们就说一下,事物的隔离性。
数据库中多个事物同事执行的时候,就可能出现脏读,不可重复读、幻读的问题,为了解决这些问题,就有了‘隔离级别’
隔离的级别越高,效率就会越低,很多时候,我们都要在二中之间找一个平衡点。
SQL标准的事物隔离包括:读未提交、读已提交、可重复读和串行化。
读未提交:一个事物还结束,他做的变更,就能被别的事物看到。
读提交:一个事物提交之后,他做的变更,才会被其他事物看到。
可重复读:一个事物执行过程中,看到的数据,总是跟这个事物在启动时看到的数据是一致的。当然在可重复度隔离级别下,未提交变更对其他事务也是不可见的。
串行化:同一行记录,读写都会加锁,读写锁冲突时,后访问的事物,必须等前一个事物执行完成,才能继续执行。
脏读:所谓的脏读,其实就是读到了别的事务回滚前的脏数据。比如事务B执行过程中修改了数据X,在未提交前,事务A读取了X,而事务B却回滚了,这样事务A就形成了脏读。
也就是说,当前事务读到的数据是别的事务想要修改成为的但是没有修改成功的数据。
不可重复读:事务A首先读取了一条数据,然后执行逻辑的时候,事务B将这条数据改变了,然后事务A再次读取的时候,发现数据不匹配了,就是所谓的不可重复读了。
也就是说,当前事务先进行了一次数据读取,然后再次读取到的数据是别的事务修改成功的数据,导致两次读取到的数据不匹配,也就照应了不可重复读的语义。
幻读:事务A首先根据条件索引得到N条数据,然后事务B改变了这N条数据之外的M条或者增添了M条符合事务A搜索条件的数据,导致事务A再次搜索发现有N+M条数据了,就产生了幻读。
begin/start transaction 命令并不是一个事务的起点,在执行到它们之后的第一个操作InnoDB表的语句(第一个快照读语句),事务才真正启动。如果你想要马上启动一个事务,可以使用start transaction with consistent snapshot 这个命令。
在这个例子中,事务C没有显式地使用begin/commit,表示这个update语句本身就是一个事务,语句完成的时候会自动提交。事务B在更新了行之后查询; 事务A在一个只读事务中查询,并且时间顺序上是在事务B的查询之后。
事务B查到的k的值是3,而事务A查到的k的值是1,
今天这篇文章,和你说明白这个问题,
在MySQL里,有两个“视图”的概念:
一个是view。它是一个用查询语句定义的虚拟表,在调用的时候执行查询语句并生成结果。创建视图的语法是create view … ,而它的查询方法与表一样。
另一个是InnoDB在实现MVCC时用到的一致性读视图,即consistent read view,用于支持RC(Read Committed,读提交)和RR(Repeatable Read,可重复读)隔离级别的实现。
它没有物理结构,作用是事务执行期间用来定义“我能看到什么数据”。
“快照”在MVCC里是怎么工作的?
在可重复读隔离级别下,事务在启动的时候就“拍了个快照”。注意,这个快照是基于整库的。
如果一个库有100G,那么我启动一个事务,MySQL就要拷贝100G的数据出来,这个会不会慢?可是,我平时的事务执行起来很快啊。
实际上,我们并不需要拷贝出这100G的数据。我们先来看看这个快照是怎么实现的。
InnoDB里面每个事务有一个唯一的事务ID,叫作transaction id。它是在事务开始的时候向InnoDB的事务系统申请的,是按申请顺序严格递增的。
而每行数据也都是有多个版本的。每次事务更新数据的时候,都会生成一个新的数据版本,并且把transaction id赋值给这个数据版本的事务ID,记为row trx_id。同时,旧的数据版本要保留,并且在新的数据版本中,能够有信息可以直接拿到它。
也就是说,数据表中的一行记录,其实可能有多个版本(row),每个版本有自己的row trx_id。
如图所示,就是一个记录被多个事务连续更新后的状态。
是同一行数据的4个版本,当前最新版本是V4,k的值是22,它是被transaction id 为25的事务更新的,因此它的row trx_id也是25。
前面的文章说,语句更新会生成undo log(回滚日志)吗?那么,undo log在哪呢?
实际上,图2中的三个虚线箭头,就是undo log;而V1、V2、V3并不是物理上真实存在的,而是每次需要的时候根据当前版本和undo log计算出来的。比如,需要V2的时候,就是通过V4依次执行U3、U2算出来。
按照可重复读的定义,一个事务启动的时候,能够看到所有已经提交的事务结果。但是之后,这个事务执行期间,其他事务的更新对它不可见。
因此,一个事务只需要在启动的时候声明说,“以我启动的时刻为准,如果一个数据版本是在我启动之前生成的,就认;如果是我启动以后才生成的,我就不认,我必须要找到它的上一个版本”。
当然,如果“上一个版本”也不可见,那就得继续往前找。还有,如果是这个事务自己更新的数据,它自己还是要认的。
在实现上, InnoDB为每个事务构造了一个数组,用来保存这个事务启动瞬间,当前正在“活跃”的所有事务ID。“活跃”指的就是,启动了但还没提交。
数组里面事务ID的最小值记为低水位,当前系统里面已经创建过的事务ID的最大值加1记为高水位。
这个视图数组和高水位,就组成了当前事务的一致性视图(read-view)。
而数据版本的可见性规则,就是基于数据的row trx_id和这个一致性视图的对比结果得到的。
这样,对于当前事务的启动瞬间来说,一个数据版本的row trx_id,有以下几种可能:
【1】版本号小于低水位(up_limit_id)这个版本是已提交的事务或者是当前事务自己生成的,这个数据是可见的;
【2】版本号大于高水位(low_limit_id),表示这个版本是由将来启动的事务生成的,是肯定不可见的;
【3】介于二者之间()那就包括两种情况
a. 若 row trx_id在数组中,表示这个版本是由还没提交的事务生成的,不可见;
b. 若 row trx_id不在数组中,表示这个版本是已经提交了的事务生成的,可见。
InnoDB利用了“所有数据都有多个版本”的这个特性,实现了“秒级创建快照”的能力。
接下来,我图中的三个事务,分析下事务A的语句返回的结果,为什么是k=1。
这里,我们不妨做如下假设:
事务A开始前,系统里面只有一个活跃事务ID是99;
事务A、B、C的版本号分别是100、101、102,且当前系统里只有这四个事务;
三个事务开始前,(1,1)这一行数据的row trx_id是90。
这样,事务A的视图数组就是[99,100], 事务B的视图数组是[99,100,101], 事务C的视图数组是[99,100,101,102]。
为了简化分析,我先把其他干扰语句去掉,只画出跟事务A查询逻辑有关的操作:
第二个有效更新是事务B,把数据从(1,2)改成了(1,3)。这时候,这个数据的最新版本(即row trx_id)是101,而102又成为了历史版本。
你可能注意到了,在事务A查询的时候,其实事务B还没有提交,但是它生成的(1,3)这个版本已经变成当前版本了。但这个版本对事务A必须是不可见的,否则就变成脏读了。
好,现在事务A要来读数据了,它的视图数组是[99,100]。当然了,读数据都是从当前版本读起的。所以,事务A查询语句的读数据流程是这样的:
找到(1,3)的时候,判断出row trx_id=101,比高水位大,不可见;
接着,找到上一个历史版本,一看row trx_id=102,比高水位大,不可见;
再往前找,终于找到了(1,1),它的row trx_id=90,比低水位小,可见。
这样执行下来,虽然期间这一行数据被修改过,但是事务A不论在什么时候查询,看到这行数据的结果都是一致的,所以我们称之为一致性读。
这个判断规则是从代码逻辑直接转译过来的,但是正如你所见,用于人肉分析可见性很麻烦。
所以,我来给你翻译一下。一个数据版本,对于一个事务视图来说,除了自己的更新总是可见以外,有三种情况:
版本未提交,不可见;
版本已提交,但是是在视图创建后提交的,不可见;
版本已提交,而且是在视图创建前提交的,可见。
现在,我们用这个规则来判断图4中的查询结果,事务A的查询语句的视图数组是在事务A启动的时候生成的,这时候:
(1,3)还没提交,属于情况1,不可见;
(1,2)虽然提交了,但是是在视图数组创建之后提交的,属于情况2,不可见;
(1,1)是在视图数组创建之前提交的,可见。
你看,去掉数字对比后,只用时间先后顺序来判断,分析起来是不是轻松多了。所以,后面我们就都用这个规则来分析。
更新逻辑
事务B的update语句,如果按照一致性读,好像结果不对,这是为什么呢?
你看图,事务B的视图数组是先生成的,之后事务C才提交,不是应该看不见C的修改(1,2)吗,怎么能算出(1,3)来?
是的,如果事务B在更新之前查询一次数据,这个查询返回的k的值确实是1。
但是,当它要去更新数据的时候,就不能再在历史版本上更新了,否则事务C的更新就丢失了。因此,事务B此时的set k=k+1是在(1,2)的基础上进行的操作。
所以,这里就用到了这样一条规则:更新数据都是先读后写的,而这个读,只能读当前的值,称为“当前读”(current read)。
因此,在更新的时候,当前读拿到的数据是(1,2),更新后生成了新版本的数据(1,3),这个新版本的row trx_id是101。
所以,在执行事务B查询语句的时候,一看自己的版本号是101,最新数据的版本号也是101,是自己的更新,可以直接使用,所以查询得到的k的值是3。
再往前一步,假设事务C不是马上提交的,而是变成了下面的事务C’,会怎么样呢?
事务C’的不同是,更新后并没有马上提交,在它提交前,事务B的更新语句先发起了。前面说过了,虽然事务C’还没提交,但是(1,2)这个版本也已经生成了,并且是当前的最新版本。那么,事务B的更新语句会怎么处理呢?
这时候,我们在上一篇文章中提到的“两阶段锁协议”就要上场了。事务C’没提交,也就是说(1,2)这个版本上的写锁还没释放。而事务B是当前读,必须要读最新版本,而且必须加锁,因此就被锁住了,必须等到事务C’释放这个锁,才能继续它的当前读。
到这里,我们把一致性读、当前读和行锁就串起来了。
现在,再回到文章开头的问题:事务的可重复读的能力是怎么实现的?
可重复读的核心就是一致性读(consistent read);而事务更新数据的时候,只能用当前读。如果当前的记录的行锁被其他事务占用的话,就需要进入锁等待。
而读提交的逻辑和可重复读的逻辑类似,它们最主要的区别是:
在可重复读隔离级别下,只需要在事务开始的时候创建一致性视图,之后事务里的其他查询都共用这个一致性视图;
在读提交隔离级别下,每一个语句执行前都会重新算出一个新的视图。
那么,我们再看一下,在读提交隔离级别下,事务A和事务B的查询语句查到的k,分别应该是多少呢?
这里需要说明一下,“start transaction with consistent snapshot; ”的意思是从这个语句开始,创建一个持续整个事务的一致性快照。所以,在读提交隔离级别下,这个用法就没意义了,等效于普通的start transaction。
下面是读提交时的状态图,可以看到这两个查询语句的创建视图数组的时机发生了变化,就是图中的read view框。(注意:这里,我们用的还是事务C的逻辑直接提交,而不是事务C’)
读提交隔离级别下的事务状态图
这时,事务A的查询语句的视图数组是在执行这个语句的时候创建的,时序上(1,2)、(1,3)的生成时间都在创建这个视图数组的时刻之前。但是,在这个时刻:
(1,3)还没提交,属于情况1,不可见;
(1,2)提交了,属于情况3,可见。
所以,这时候事务A查询语句返回的是k=2。
显然地,事务B查询结果k=3。