一、前言
1.1 现实案例
你要给朋友小王转100块钱,而此时你的银行卡只有100块钱
转账过程具体到程序里会有一系列的操作,比如查询余额、做加减法、更新余额等,这些操作必须保证是一体的
不然等程序查完之后,还没做减法之前,你这100块钱,完全可以借着这个时间差再查一次,然后再给另外一个朋友转账,如果银行这么整,不就乱了么?这时要用到"事务"这个概念
1.2 MySQL事务
简单来说,事务就是要保证一组数据库操作,要么全部成功,要么全部失败
在MySQL中,事务支持是在引擎层实现,但是MySQL是一个支持多引擎的系统,且并不是所有 的引擎都支持事务
比如MySQL原生的MyISAM引擎就不支持事务,这也是MyISAM被 InnoDB取代的重要原因之一
二、隔离性与隔离级别
接下来以InnoDB为例,剖析MySQL在事务支持方面的特定实现,并基于原理给出相应的实践建议
2.1 ACID
提到事务,肯定会想到ACID:
- Atomicity:原子性
- Consistency:一致性
- Isolation:隔离性
- Durability:持久性
现在看看其中的I,也就是"隔离性"
2.2 多个事务同时执行
当数据库上有多个事务同时执行的时候,可能出现以下问题:
- 脏读(dirty read)
- 不可重复读(non- repeatable read)
- 幻读(phantom read)
为了解决这些问题,就有了"隔离级别"的概念
2.3 隔离级别
在谈隔离级别之前,首先要知道,隔离得越严实,效率就会越低,因此很多时候,都要在二者之间寻找一个平衡点
SQL标准的事务隔离级别包括:
- 读未提交(read uncommitted)
- 读提交(read committed)
- 可重复读(repeatable read)
- 串行化(serializable)
这四个隔离级别的理解
-
读未提交
一个事务还没提交时,它做的变更就能被别的事务看到 -
读提交
一个事务提交之后,它做的变更才会被其他事务看到 -
可重复读
一个事务执行过程中看到的数据,总是跟这个事务在启动时看到的数据是一致的
当然在可重复读隔离级别下,未提交变更对其他事务也是不可见的 -
串行化
顾名思义是对于同一行记录,“写"会加"写锁”,“读"会加"读锁”。当出现读写锁冲突的时候,后访问的事务必须等前一个事务执行完成,才能继续执行
2.4 实例说明
其中"读提交"和"可重复读"比较难理解,所以用一个例子说明这几种隔离级别
假设数据表T中只有一列,其中一行的值为1
mysql> create table T(c int) engine=InnoDB;
insert into T(c) values(1);
下面是按照时间顺序执行两个事务的行为
看看在不同的隔离级别下,事务A会有哪些不同的返回结果,也就是图里面V1、V2、 V3的返回值分别是什么
-
读未提交
若隔离级别是"读未提交", 则V1的值就是2,这时候事务B虽然还没有提交,但是结果已经被A看到了,因此,V2、V3也都是2 -
读提交
若隔离级别是"读提交",则V1是1,V2的值是2,事务B的更新在提交后才能被A看到,所以, V3的值也是2 -
可重复读
若隔离级别是"可重复读",则V1、V2是1,V3是2,之所以V2还是1,遵循的就是这个要求:事务在执行期间看到的数据前后必须是一致的 -
串行化
若隔离级别是"串行化",则在事务B执行"将1改成2"的时候,会被锁住,直到事务A提交后,事务B才可以继续执行,所以从A的角度看,V1、V2值是1,V3的值是2
2.5 隔离视图
在实现上,数据库里面会创建一个视图,访问的时候以视图的逻辑结果为准
-
可重复读
在"可重复读"隔离级别下,这个视图是在事务启动时创建的,整个事务存在期间都用这个视图 -
读提交
在"读提交"隔离级别下,这个视图是在每个SQL语句开始执行的时候创建的 -
读未提交
"读未提交"隔离级别下直接返回记录上的最新值,没有视图概念 -
串行化
"串行化"隔离级别下直接用加锁的方式来避免并行访问
2.6 隔离级别兼容
在不同的隔离级别下,数据库行为是有所不同的
Oracle数据库的默认隔离级别其实就是"读提交",因此对于一些从Oracle迁移到MySQL的应用,为保证数据库隔离级别的一致,必须要将MySQL的隔离级别设置为"读提交"
-
配置方式
将启动参数transaction-isolation的值设置成READ-COMMITTED -
查看隔离级别
用show variables来查看当前的值
mysql> show variables like 'transaction_isolation';
2.7 使用场景
总结来说,存在即合理,哪个隔离级别都有它自己的使用场景,要根据业务情况决定
- 可重复读使用场景
那什么时候需要"可重复读"的场景呢?看一个数据校对逻辑的案例
假设你在管理一个个人银行账户表,一个表存了每个月月底的余额,一个表存了账单明细
这时候你要做数据校对,也就是判断上个月的余额和当前余额的差额,是否与本月的账单明细一致。你一定希望在校对过程中,即使有用户发生了一笔新的交易,也不影响你的校对结果
这时候使用"可重复读"隔离级别就很方便,事务启动时的视图可以认为是静态的,不受其他事务更新的影响
三、事务隔离的实现
理解了事务的隔离级别,我们再来看看事务隔离具体是怎么实现的,这里展开说明"可重复读"
在MySQL中,实际上每条记录在更新的时候都会同时记录一条回滚操作,记录上的最新值,
通过回滚操作,都可以得到前一个状态的值
假设一个值从1被按顺序改成了2、3、4,在回滚日志里面就会有类似下面的记录
当前值是4,但是在查询这条记录的时候,不同时刻启动的事务会有不同的read-view
如图中看到的,在视图A、B、C里面,这一个记录的值分别是1、2、4,同一条记录在系统中可以存在多个版本,就是数据库的多版本并发控制(MVCC)。对于read-view A,要得到1,就必须将当前值依次执行图中所有的回滚操作得到
同时,即使现在有另外一个事务正在将4改成5,这个事务跟read-view A、B、C对应的事务是不会冲突的
3.1 回滚日志周期
回滚日志总不能一直保留吧,什么时候删除呢?
答案是:在不需要的时候才删除,也就是说系统会判断,当没有事务再需要用到这些回滚日志时,回滚日志会被删除
什么时候才不需要了呢?就是当系统里没有比这个回滚日志更早的read-view的时候
3.2 避免使用长事务
基于上面的说明,来讨论一下为什么建议尽量不要使用长事务
- 回滚记录占用存储空间
长事务意味着系统里面会存在很老的事务视图,由于这些事务随时可能访问数据库里面的任何数据,所以这个事务提交之前,数据库里面它可能用到的回滚记录都必须保留,这就会导致大量占用存储空间
- 回滚记录文件过大
在MySQL 5.5及以前的版本,回滚日志是跟数据字典一起放在ibdata文件里的,即使长事务最终提交,回滚段被清理,文件也不会变小
数据只有20GB,而回滚段可能就有200GB的库,最终只能为了清理回滚段,重建整个库
- 占用锁资源
除了对回滚段的影响,长事务还占用锁资源,也可能拖垮整个库
四、事务的启动方式
长事务有这些潜在风险,建议尽量避免使用长事务,但其实很多时候并不是有意使用长事务,通常是由于误用所致
4.1 事务启动方式
MySQL的事务启动方式有以下2种:
-
显式启动事务语句
begin或start transaction,配套的提交语句是commit,回滚语句是rollback -
set autocommit=0
这个命令会将这个线程的自动提交关掉
意味着如果你只执行一个select语句,这个事务就启动了,而且并不会自动提交
这个事务持续存在直到你主动执行commit或rollback语句,或者断开连接
有些客户端连接框架会默认连接成功后先执行一个set autocommit=0的命令,这就导致接下来的查询都在事务中,如果是长连接,就导致了意外的长事务,因此,建议使用set autocommit=1, 通过显式语句的方式来启动事务
4.2 长事务查询
可以在information_schema库的innodb_trx这个表中查询长事务
比如下面这个语句,用于查找持续时间超过60s的事务
select
*
from
information_schema.innodb_trx
where
TIME_TO_SEC(timediff(now(),trx_started))>6
五、问答
- 问题
系统里面应该避免长事务,如果你是业务开发负责人同时也是数据库负责人,有什么方案来避免出现或者处理这种情况呢?
- 答案
可以从应用开发端和数据库端来看
从应用开发端来看:
-
确认是否使用了set autocommit=0
这个确认工作可以在测试环境中开展,把MySQL的 general_log开起来,然后随便跑一个业务逻辑,通过general_log的日志来确认
一般框架如果会设置这个值,也就会提供参数来控制行为,你的目标就是把它改成1 -
确认是否有不必要的只读事务
有些框架会习惯不管什么语句先用begin/commit框起来,有些是业务并没有这个需要,但是也把好几个select语句放到了事务中,这种只读事务可以去掉 -
根据业务本身预估业务连接时长
通过SET MAX_EXECUTION_TIME命令,控制每个语句执行的最长时间,避免单个语句意外执行太长时间
从数据库端来看:
-
监控 information_schema.Innodb_trx表
设置长事务阈值,超过就报警/或者kill -
Percona的pt-kill工具
这个工具不错,推荐使用 -
general_log分析
在业务功能测试阶段要求输出所有的general_log,分析日志行为提前发现问题 -
innodb_undo_tablespaces
如果使用的是MySQL5.6或者更新版本,把innodb_undo_tablespaces设置成2(或更大的值)
如果真的出现大事务导致回滚段过大,这样设置后清理起来更方便