Mysql-事务

提到事务,你肯定不陌生,和数据库打交道的时候,我们总是会用到事务。最经典的例子就是转账,你要给朋友小王转 100 块钱,而此时你的银行卡只有 100 块钱。


转账过程具体到程序里会有一系列的操作,比如查询余额、做加减法、更新余额等,这些操作必须保证是一体的,不然等程序查完之后,还没做减法之前,你这 100 块钱,完全可以借着这个时间差再查一次,然后再给另外一个朋友转账,如果银行这么整,不就乱了么?这时就要用到“事务”这个概念了。


简单来说,事务就是要保证一组数据库操作,要么全部成功,要么全部失败。在 MySQL 中,事务支持是在引擎层实现的。你现在知道,MySQL 是一个支持多引擎的系统,但并不是所有的引擎都支持事务。比如 MySQL 原生的MyISAM 引擎就不支持事务,这也是 MyISAM 被 InnoDB 取代的重要原因之一。


我将会以 InnoDB 为例,剖析 MySQL 在事务支持方面的特定实现,并基于原理给出相应的实践建议,希望这些案例能加深你对 MySQL 事务原理的理解。

事务的概念

我们把需要保证原子性,隔离性,一致性和持久性的一个或多个数据库操作称之为一个事务

隔离性详解

-- 修改隔离级别
mysql> set session transaction isolation level read uncommitted;

-- 查看隔离级别
mysql> select @@tx_isolation;

隔离性与隔离级别


提到事务,你肯定会想到 ACID(Atomicity、Consistency、Isolation、Durability,即原子性、一致性、隔离性、持久性),今天我们就来说说其中 I,也就是“隔离性”。

当数据库上有多个事务同时执行的时候,就可能出现脏读(dirty read)、不可重复读(non-repeatable read)、幻读(phantom read)的问题,为了解决这些问题,就有了“隔离级别”的概念。


在谈隔离级别之前,你首先要知道,你隔离得越严实,效率就会越低。因此很多时候,我们都要在二者之间寻找一个平衡点。SQL 标准的事务隔离级别包括:读未提交(read uncommitted)、读提交(read committed)、可重复读(repeatable read)和串行化(serializable )。下面我逐一为你解释:
 

读未提交(READ UNCOMMITTED)

会出现脏读,不可重复读,幻读

一个事务还没提交时,它做的变更就能被别的事务看到。这就是脏读

读提交(READ COMMITTED)

一个事务只能读到另一个已经提交的事务修改过的数据,并且其他事务每对该数据进行一次修改并提交后,该事务都能查到最新值。会出现不可重复度,幻读

如果一个事务先根据某些提交查询出一些记录,之后另一个事务又向表中插入了符合这些条件的记录,原先的事务再次按照该条件查询时,能把另一个事务插入的记录也读出来,这就是幻读

可重复读(REPEATABLE READ)

一个事务第一次读过某条记录后,即使其他事务修改了该记录的值并且提交,该事务之后再读该条记录时,读到的仍是第一次读到的值,而不是每次都读到不同的数据,这就是可重复读,这种隔离级别解决了不可重复,但是还会出现幻读

串行化(SERIALIZABLE)

顾名思义是对于同一行记录,“写”会加“写锁”,“读”会加“读锁”。当出现读写锁冲突的时候,后访问的事务必须等前一个事务执行完成,才能继续执行。

总结

脏读,幻读,不可重复读

脏读

一个事务还没提交时,它做的变更就能被别的事务看到。这就是脏读(自己还没提交就被被人看到修改的数据)

幻读

如果一个事务先根据某些提交查询出一些记录,之后另一个事务又向表中插入了符合这些条件的记录,原先的事务再次按照该条件查询时,能把另一个事务插入的记录也读出来,这就是幻读(前后同样的查询操作,发现数据多了)

不可重复读

一个事务在其他事务对数据做完修改之后,读到修改后的值(别人修改的新数据被自己看到)

可重复读

一个事务第一次读过某条记录后,即使其他事务修改了该记录的值并且提交,该事务之后再读该条记录时,读到的仍是第一次读到的值(在同一个事务中,每次查询的都是第一次查出的记录)

  • READ UNCOMMITTED(读未提交)隔离级别下,可能发生脏读,不可重复读和幻读问题
  • READ COMMITTED(读已提交)隔离级别下,可能发生不可重复度和幻读问题,但是不会发生脏读问题
  • REPEATABLE READ(可重复读)隔离级别下,可能发生幻读问题,不会发生脏读和不可重复读的问题(InnoDB已经解决了可重复读下幻读的问题)
  • SERIALIZABLE(串行化)隔离级别下,各种问题都不可以发生

注意:这四种隔离级别是SQL的标准定义,不同的数据库会有不同的实现,特别需要注意的是Mysql在REPEATABLE READ隔离级别下,是可以禁止幻读问题的发生

其中“读提交”和“可重复读”比较难理解,所以我用一个例子说明这几种隔离级别。假设数据表 T 中只有一列,其中一行的值为 1,下面是按照时间顺序执行两个事务的行为。

mysql> create table T(c int) engine=InnoDB;
            insert into T(c) values(1);


 

我们来看看在不同的隔离级别下,事务 A 会有哪些不同的返回结果,也就是图里面 V1、V2、V3 的返回值分别是什么。
 

  • 若隔离级别是“读未提交”, 则 V1 的值就是 2。这时候事务 B 虽然还没有提交,但是结果已经被 A 看到了。因此,V2、V3 也都是 2。
  • 若隔离级别是“读提交”,则 V1 是 1,V2 的值是 2。事务 B 的更新在提交后才能被 A 看到。所以, V3 的值也是 2。
  • 若隔离级别是“可重复读”,则 V1、V2 是 1,V3 是 2。之所以 V2 还是 1,遵循的就是这个要求:事务在执行期间看到的数据前后必须是一致的。
  • 若隔离级别是“串行化”,则在事务 B 执行“将 1 改成 2”的时候,会被锁住。直到事务 A 提交后,事务 B 才可以继续执行。所以从 A 的角度看, V1、V2 值是 1,V3 的值是 2。

在实现上,数据库里面会创建一个视图,访问的时候以视图的逻辑结果为准。在“可重复读”隔离级别下,这个视图是在事务启动时创建的,整个事务存在期间都用这个视图。在“读提交”隔离级别下,这个视图是在每个 SQL 语句开始执行的时候创建的。这里需要注意的是,“读未提交”隔离级别下直接返回记录上的最新值,没有视图概念;而“串行化”隔离级别下直接用加锁的方式来避免并行访问。

我们可以看到在不同的隔离级别下,数据库行为是有所不同的。Oracle 数据库的默认隔离级别其实就是“读提交”,因此对于一些从 Oracle 迁移到 MySQL 的应用,为保证数据库隔离级别的一致,你一定要记得将 MySQL 的隔离级别设置为“读提交”。

配置的方式是,将启动参数 transaction-isolation 的值设置成 READ-COMMITTED。你可以用 show variables 来查看当前的值

mysql> show variables like 'transaction_isolation';
+-----------------------+----------------+
| Variable_name | Value |
+-----------------------+----------------+
| transaction_isolation | READ-COMMITTED |
+-----------------------+----------------+

总结来说,存在即合理,每种隔离级别都有自己的使用场景,你要根据自己的业务情况来定。我想你可能会问那什么时候需要“可重复读”的场景呢?我们来看一个数据校对逻辑的案例。

假设你在管理一个个人银行账户表。一个表存了账户余额,一个表存了账单明细。到了月底你要做数据校对,也就是判断上个月的余额和当前余额的差额,是否与本月的账单明细一致。你一定希望在校对过程中,即使有用户发生了一笔新的交易,也不影响你的校对结果。

这时候使用“可重复读”隔离级别就很方便。事务启动时的视图可以认为是静态的,不受其他事务更新的影响。

事务隔离的实现

理解了事务的隔离级别,我们再来看看事务隔离具体是怎么实现的。这里我们展开说明“可重复读”。

在 MySQL 中,实际上每条记录在更新的时候都会同时记录一条回滚操作。记录上的最新值,通过回滚操作,都可以得到前一个状态的值。

假设一个值从 1 被按顺序改成了 2、3、4,在回滚日志里面就会有类似下面的记录

当前值是 4,但是在查询这条记录的时候,不同时刻启动的事务会有不同的 read-view。如图中看到的,在视图 A、B、C 里面,这一个记录的值分别是 1、2、4,同一条记录在系统中可以存在多个版本,就是数据库的多版本并发控制(MVCC)。对于 read-view A,要得到 1,就必须将当前值依次执行图中所有的回滚操作得到。

同时你会发现,即使现在有另外一个事务正在将 4 改成 5,这个事务跟 read-view A、B、C 对应的事务是不会冲突的。

你一定会问,回滚日志总不能一直保留吧,什么时候删除呢?答案是,在不需要的时候才删除。也就是说,系统会判断,当没有事务再需要用到这些回滚日志时,回滚日志会被删除。

什么时候才不需要了呢?就是当系统里没有比这个回滚日志更早的 read-view 的时候。

基于上面的说明,我们来讨论一下为什么建议你尽量不要使用长事务。

长事务意味着系统里面会存在很老的事务视图。由于这些事务随时可能访问数据库里面的任何数据,所以这个事务提交之前,数据库里面它可能用到的回滚记录都必须保留,这就会导致大量占用存储空间。

在 MySQL 5.5 及以前的版本,回滚日志是跟数据字典一起放在 ibdata 文件里的,即使长事务最终提交,回滚段被清理,文件也不会变小。我见过数据只有 20GB,而回滚段有 200GB 的库。最终只好为了清理回滚段,重建整个库。

除了对回滚段的影响,长事务还占用锁资源,也可能拖垮整个库,这个我们会在后面讲锁的时候展开。

事务的启动方式

开启事务

BEGIN [WORK];

BEGIN语句代表开启一个事务,后边的单词WORK可有可无。开启事务后,就可以继续写若干条语句,这些语句都属于刚刚开启的这个事务

BEGIN;
SELECT * FROM ums_shop_info LIMIT 10;

START TRANSACTION;

START TRANSACTION语句和BEGIN一样,都标志着开启一个事务

START TRANSACTION;
SELECT * FROM ums_shop_info LIMIT 10;

提交事务

BEGIN;	#开启事务
UPDATE Student	set name = "2222" WHERE id = 21;
UPDATE Student set name = "4444" WHERE id = 22;
COMMIT;  #提交事务

手动终止事务

BEGIN;	#开启事务
UPDATE Student	set name = "4444" WHERE id = 21;
UPDATE Student set name = "2222" WHERE id = 22;
ROLLBACK;	#终止事务

这里需要强调一下,ROLLBACK语句是我们程序员手动回滚事务时才会使用的,如果事务在执行过程中遇到某些错误而无法继续执行的时候,事务会自动回滚

自动提交

 SHOW VARIABLES LIKE 'autocommit';

默认情况下,如果我们不显示的使用START TRANSACTION或者BEGIN语句开启一个事务,那么每一条语句都算一个独立的事务,这种特性称之为事务的自动提交

如果我们想关闭这种自动提交的功能,可以使用以下两种方法

  • 显示的使用START TRANSACTION或者BEGIN语句开启一个事务,这样在本次事务提交或者回滚前会暂时关闭掉自动提交的功能

  • 把系统变量autocommit的值设置为OFF,就像这样:set autocommit = OFF;这样的话,我们写入的多条语句就算是属于同一个事务了。直到我们显示的写出COMMIT 语句来提交事务,或者写出ROLLBACK语句来回滚事务

隐式提交

当我们使用 start transaction 或者begin语句开启一个事务,或者把系统变量autocommit设置为OFF时,事务就不会进行自动提交,但是如果我们输入了某些语句之后就会悄悄的提交掉,就像我们输入了commit语句一样,这种因为某种特殊语句而导致事务提交的情况称之为隐式提交,这些会导致事务隐式提交的语句包括:

  • 定义或修改数据库对象的数据定义语言(DDL)。所谓的数据库对象,指的就是数据库,表,视图,存储过程等等这些东西,当我们使用create, alter, drop等语句修改数据库对象时,就会隐式的提交前边语句所属的事务

  • 隐式使用或修改Mysql数据库中的表,当我们使用alter user, create user, drop user, grant, rename user, set password等语句时也会隐式提交前边的所属事务

  • 事务控制或关于锁定的语句:当我么在一个事务还没提交或者回滚时就又使用start transaction或者begin语句开启了另一个事务时,会隐式提交上一个事务。或者当前autocommit系统变量值为off,我们手动把它调为ON时,也会隐式的提交事务。或者使用lock tables, unlock tables等关于锁定语句也会隐式提交事务

  • 加载数据的语句:比如我们使用load data语句来批量往数据库导入数据时,也会隐式的提交事务

  • 其他的一些语句:使用analyze table, cache index, check table, flush, load index into cache, optimize table, repair table, reset 等语句也会隐式的提交事务

保存点

如果你开启了一个事务,并且已经敲了很多语句,忽然发现上一条语句有问题,你只好使用rollback语句来让数据库状态恢复到事务执行之前的样子,然后从头再来。所以mysql提出了一个保存点的概念,就是在事务对应的数据库语句中打几个点,我们在调用rollback语句时可以指定回滚到哪个点,而不是回到最初的原点,定义保存点的语法如下:

savepoint 保存点名称;

当我们想回滚到某个保存点时,可以使用下边这个语句(WORK和SAVEPOINT是可有可无的)

ROLLBACK [WORK] TO [SAVEPOINT] 保存点名称;

不过如果ROLLBACK语句后边不跟随保存点名称的话,会直接回滚到事务执行之前的状态

如果我们想删除某个保存点,可以使用这个语句

RELEASE SAVEPOINT 保存点名称;

但是有的开发同学会纠结“多一次交互”的问题。对于一个需要频繁使用事务的业务,第二种方式每个事务在开始时都不需要主动执行一次 “begin”,减少了语句的交互次数。如果你也有这个顾虑,我建议你使用 commit work and chain 语法。在 autocommit 为 1 的情况下,用 begin 显式启动的事务,如果执行 commit 则提交事务。如果执行 commit work and chain,则是提交事务并自动启动下一个事务,这样也省去了再次执行 begin 语句的开销。同时带来的好处是从程序开发的角度明确地知道每个语句是否处于事务中。你可以在 information_schema 库的 innodb_trx 这个表中查询长事务,比如下面这个语句,用于查找持续时间超过 60s 的事务。

在MySql里,有两个'视图’的概念

  • 一个是view.它是一个用查询语句定义的虚拟表,在调用的时候执行查询语句并生成结果,创建视图的语法是 creaw view … ,而它的查询语法与表一样。
  • 另一个是InnoDB在实现MVCC时用到的一致性读视图,即consistent read view。用于支持RC(Read Committed,读提交)和RR(Repeatable Read,可重复读)隔离级别的实现

它没有物理结构,作用是事务执行期间用来定义“我能看到什么数据”

MVCC

MVCC 是什么?

MVCC 是多版本并发控制,一般在数据库管理系统中,实现对数据库的并发访问;

通俗的讲,数据库中同时存在多个版本的数据,并不是整个数据库的多个版本,而是某一条记录的多个版本同时存在,在某个事务对其进行操作的时候,需要查看这一条记录的隐藏列事务版本id,比对事务id并根据事物隔离级别去判断读取哪个版本的数据。

MVCC 只能在 READ COMMITTED(读已提交)REPEATABLE READ(可重复读) 两个隔离级别下工作,因为 READ UNCOMMITTED(读未提交) 总是读取最新的数据行,而不是符合当前事务版本的数据行,而 SERIALIZABLE(串行化) 则会对所有读取的行都加锁。

MVCC是为了解决什么问题?

大家都应该知道,锁机制可以控制并发操作,但是其系统开销较大,而MVCC可以在大多数情况下代替行级锁,使用MVCC,能降低其系统开销.

事务版本号

事务每次开启前,都会从数据库获得一个自增长的事务ID,可以从事务ID判断事务的执行先后顺序。这就是事务版本号。

MVCC隐式字段

Innodb每行记录都实现了三个隐藏字段

字段名

描述

ROW_ID

6字节:行标识(递增的行ID)

TRX_ID(事务ID

6字节:操作该事务的事务ID,自动递增(创建版本号

ROLL_PTR

7字节:回滚指针,指向undolog日志(删除版本号

主要关注 创建版本号和删除版本号

Undo Log

undo log,回滚日志,用于记录数据被修改前的信息。在表记录修改之前,会先把数据拷贝到undo log里,如果事务回滚,即可以通过undo log来还原数据。

可以这样认为,当delete一条记录时,undo log 中会记录一条对应的insert记录,当update一条记录时,它记录一条对应相反的update记录。

undo log有什么用途呢?

  1. 事务回滚时,保证原子性和一致性。
  2. 用于MVCC快照读

版本链

多个事务并行操作某一行数据时,不同事务对该行数据的修改会产生多个版本,然后通过回滚指针(roll_pointer),连成一个链表,这个链表就称为版本链

如图:

快照读和当前读

快照读:

读取的是记录数据的可见版本(有旧的版本)。不加锁,普通的select语句都是快照读,如:
select * from core_user where id > 2;

当前读:

读取的是记录数据的最新版本,显式加锁的都是当前读
select * from core_user where id > 2 for update; 
select * from account where id>2 lock in share mode;

小结

InnoDB 的行数据有多个版本,每个数据版本有自己的 trx_id,每个事务或者语句有自己的一致性视图。普通查询语句是一致性读,一致性读会根据 trx_id 和一致性视图确定数据版本的可见性。

  • 对于可重复读,查询只承认在事务启动前就已经提交完成的数据;
  • 对于读提交,查询只承认在语句启动前就已经提交完成的数据;

而当前读,总是读取已经提交完成的最新版本。

你也可以想一下,为什么表结构不支持“可重复读”?这是因为表结构没有对应的行数据,也没有 row trx_id,因此只能遵循当前读的逻辑。

当然,MySQL 8.0 已经可以把表结构放在 InnoDB 字典里了,也许以后会支持表结构的可重复读。

Read view

对于使用读未提交隔离级别的事务来说,直接读取记录的最新版本就好了,对于 串行化隔离级别的事务,使用加锁的方式来访问记录

对于使用读已提交和可重复读隔离级别的事务来说,就需要用到我们上边所说的版本链了,核心问题就是需要判断以下版本链中的哪个版本是当前事务可见的

ReadView中主要包含4个比较重要的内容:

m_ids

活跃的事务ID列表

min_trx_id

系统中活跃的事务中最小的事务id,也就是m_ids中的最小值

max_trx_id

系统中分配给下一个事务的id值

creator_trx_id

生成该ReadView的事务的事务ID

注意max_trx_id并不是m_ids中的最大值,事务id是递增分配的。

比方说现在有id为1,2,3这三个事务,之后id为3的事务提交了。

那么一个新的读事务在生成ReadView时,m_ids就包括1和2,min_trx_id的值就是1,max_trx_id的值就是4

  • 有了这个ReadView,这样在访问某条记录时,只需要按照下边的步骤判断记录的某个版本是否可见;

  • 如果被访问版本的trx_id属性值小于trx_id属性值小于ReadView中的min_trx_id值,表明生成该版本的事务在当前事务生成ReadView前已经提交,所以该版本可以被当前事务访问

  • 如果被访问版本的trx_id属性值大于ReadView中的max_trx_id值,表明生成该版本的事务在当前事务生成ReadView后才开启,所以该版本不可以被当前事务访问

  • 如果被访问版本的trx_id属性值在ReadView的min_trx_idmax_trx_id之间,那就需要判断以下trx_id属性值是不是在m_ids列表中
    • 如果在,说明创建ReadView时生成该版本的事务还是活跃的,该版本不可以被访问;
    • 如果不在,说明创建ReadView时生成该版本的事务已经被提交,该版本可以被访问

读已提交的实现方式

每次读取数据前都生成一个ReadView

可重复读的实现方式

在第一次读取数据时生成一个ReadView

MVCC指的就是在使用读已提交和可重复读这两种隔离级别的事务在执行普通的select操作时访问记录的版本链的过程

可以使不同事务的读-写,写-读操作并发执行,从而提升系统性能

读已提交,可重复读这两个隔离级别的一个很大不同就是:生成ReadView的时机不同,读已提交在每一次进行普通select操作前都会生成一个ReadView,而可重复读只在第一次进行普通select操作前生成一个ReadView,之后的查询操作都重复使用这个ReadView就好了

快照在MVCC里是怎么工作的?

查询一条记录,基于MVCC,是怎样的流程

  1. 获取事务自己的版本号,即事务ID
  2. 获取Read View
  3. 查询得到的数据,然后Read View中的事务版本号进行比较。
  4. 如果不符合Read View的可见性规则, 即就需要Undo log中历史快照;
  5. 最后返回符合规则的数据

InnoDB 实现MVCC,是通过 Read View+ Undo Log 实现的,Undo Log 保存了历史快照,Read View可见性规则帮助判断当前版本的数据是否可见。

事务隔离级别的选择

  • RR(可重复读)的间隙锁会导致锁定范围的扩大
  • 条件列未使用到索引,RR锁表,RC锁行
  • RC的“半一致性”读可以增加update操作的并发性
  • 27
    点赞
  • 20
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值