1.前言
转账过程具体到程序里会有一系列的操作,比如查询余额、做加减法、更新余额等,这些操
作必须保证是一体的,不然等程序查完之后,还没做减法之前,你这 100 块钱,完全可以
借着这个时间差再查一次,然后再给另外一个朋友转账,如果银行这么整,不就乱了么?这
时就要用到“事务”这个概念了。
简单来说,事务就是要保证一组数据库操作,要么全部成功,要么全部失败。在 MySQL
中,事务支持是在引擎层实现的。你现在知道,MySQL 是一个支持多引擎的系统,但并不
是所有的引擎都支持事务。比如 MySQL 原生的 MyISAM 引擎就不支持事务,这也是
MyISAM 被 InnoDB 取代的重要原因之一。
2.事务
2.1.事务特性
ACID(Atomicity、Consistency、Isolation、Durability,即原
子性、一致性、隔离性、持久性)。
2.2.事务出现的问题
当数据库上有多个事务同时执行的时候,就可能出现脏读(dirty read)、不可重复读
(non-repeatable read)、幻读(phantom read)的问题,为了解决这些问题,就有
了“隔离级别”的概念。
在谈隔离级别之前,你首先要知道,你隔离得越严实,效率就会越低。
3.隔离级别
SQL 标准的事务隔离级别包括:读未提交(readuncommitted)、读提交(read committed)、可重复读(repeatable read)和串行化(serializable )
读未提交是指,一个事务还没提交时,它做的变更就能被别的事务看到。
读提交是指,一个事务提交之后,它做的变更才会被其他事务看到。
可重复读是指,一个事务执行过程中看到的数据,总是跟这个事务在启动时看到的数据是
一致的。当然在可重复读隔离级别下,未提交变更对其他事务也是不可见的。
串行化,顾名思义是对于同一行记录,“写”会加“写锁”,“读”会加“读锁”。当出现读写锁冲突的时候,后访问的事务必须等前一个事务执行完成,才能继续执行。
在实现上,数据库里面会创建一个视图,访问的时候以视图的逻辑结果为准。在“可重复读”隔离级别下,这个视图是在事务启动时创建的,整个事务存在期间都用这个视图。在“读提交”隔离级别下,这个视图是在每个 SQL 语句开始执行的时候创建的。这里需要注意的是,“读未提交”隔离级别下直接返回记录上的最新值,没有视图概念;而“串行化”隔离级别下直接用加锁的方式来避免并行访问。
3.1.Oracle && mysql的默认隔离级别
我们可以看到在不同的隔离级别下,数据库行为是有所不同的。Oracle 数据库的默认隔离
级别其实就是“读提交”,mysql是可重复读,因此对于一些从 Oracle 迁移到 MySQL 的应用,为保证数据库
隔离级别的一致,你一定要记得将 MySQL 的隔离级别设置为“读提交”。
总结来说,存在即合理,哪个隔离级别都有它自己的使用场景,你要根据自己的业务情况来
定。使用“可重复读”隔离级别就很方便。事务启动时的视图可以认为是静态的,不受其
他事务更新的影响。
4.事务隔离的实现
在 MySQL 中,实际上每条记录在更新的时候都会同时记录一条回滚操作。记录上的最新
值,通过回滚操作,都可以得到前一个状态的值。同一条记录在系统中可以存在多个版本,就是数据库的多版本并发控制(MVCC)。
回滚日志总不能一直保留吧,什么时候删除呢?答案是,在不需要的时候才删
除。也就是说,系统会判断,当没有事务再需要用到这些回滚日志时,回滚日志会被删除。
4.1.长事务对视图的影响
不建议使用长事务
长事务意味着系统里面会存在很老的事务视图。由于这些事务随时可能访问数据库里面的任
何数据,所以这个事务提交之前,数据库里面它可能用到的回滚记录都必须保留,这就会导
致大量占用存储空间。在 MySQL 5.5 及以前的版本,回滚日志是跟数据字典一起放在 ibdata 文件里的,即使长事务最终提交,回滚段被清理,文件也不会变小。我见过数据只有 20GB,而回滚段有200GB 的库。最终只好为了清理回滚段,重建整个库。除了对回滚段的影响,长事务还占用锁资源,也可能拖垮整个库,这个我们会在后面讲锁的时候展开。
4.2事务的启动方式
如前面所述,长事务有这些潜在风险,我当然是建议你尽量避免。其实很多时候业务开发同
学并不是有意使用长事务,通常是由于误用所致。MySQL 的事务启动方式有以下几种:
1. 显式启动事务语句, begin 或 start transaction。配套的提交语句是 commit,回滚语
句是 rollback。
2. set autocommit=0,这个命令会将这个线程的自动提交关掉。意味着如果你只执行一
个 select 语句,这个事务就启动了,而且并不会自动提交。这个事务持续存在直到你主
动执行 commit 或 rollback 语句,或者断开连接。3.有些客户端连接框架会默认连接成功后先执行一个 set autocommit=0 的命令。这就导致
接下来的查询都在事务中,如果是长连接,就导致了意外的长事务。
因此,我会建议你总是使用 set autocommit=1, 通过显式语句的方式来启动事务。
但是有的开发同学会纠结“多一次交互”的问题。对于一个需要频繁使用事务的业务,第二
种方式每个事务在开始时都不需要主动执行一次 “begin”,减少了语句的交互次数。如
果你也有这个顾虑,我建议你使用 commit work and chain 语法。在 autocommit 为 1 的情况下,用 begin 显式启动的事务,如果执行 commit 则提交事务。如果执行 commit work and chain,则是提交事务并自动启动下一个事务,这样也省去了再次执行 begin 语句的开销。同时带来的好处是从程序开发的角度明确地知道每个语句是否处于事务中。
你可以在 information_schema 库的 innodb_trx 这个表中查询长事务,比如下面这个语句,用于查找持续时间超过 60s 的事务。
5.问题
系统里面应该避免长事务,如果你是业务开发负责人同时也是数据库负责人,你会有什么方案来避免出现或者处理这种情况呢?
1.设置事务执行时间。
官方答案:
首先,从应用开发端来看:
确认是否使用了set autocommit=0。这个确认工作可以在测试环境中开展,把MySQL的general_log(开启 general log 将所有到达MySQL Server的sql语句记录下来。
一般不会开启开功能,因为log的量会非常庞大。)开起来,然后随便跑一个业务逻辑,通过general_log的日志来确认。一般框架如果会设置这个值,也就会提供参数来控制行为,你的目标就是把它改成1。
确认是否有不必要的只读事务。有些框架会习惯不管什么语句先用begin/commit框起来。我见过有些是业务并没有这个需要,但是也把好几个select语句放到了事务中。这种只读事务可以去掉。
业务连接数据库的时候,根据业务本身的预估,通过SET MAX_EXECUTION_TIME命令,来控制每个语句执行的最长时间,避免单个语句意外执行太长时间。(为什么会意外?在后续的文章中会提到这类案例)
其次,从数据库端来看:
监控 information_schema.Innodb_trx表,设置长事务阈值,超过就报警/或者kill;
Percona的pt-kill这个工具不错,推荐使用;(主要用途:pt-kill是用来kill MySQL连接的一个工具,在MySQL中因为空闲连接较多导致超过最大连接数,或某个有问题的sql导致mysql负载很高时,需要将其KILL掉来保证服务器正常运行。)
在业务功能测试阶段要求输出所有的general_log,分析日志行为提前发现问题;
如果使用的是MySQL 5.6或者更新版本,把innodb_undo_tablespaces设置成2(或更大的值)。如果真的出现大事务导致回滚段过大,这样设置后清理起来更方便。