一条SQL更新语句的执行（二）

上一篇讲了mysql查询语句的执行过程，接着讲下mysql更新语句是怎么执行的？
一条SQL查询语句的执行过程（一）

现在有一张表，sql语句如下，有一个主键ID和整型字段c：

mysql> create table T(ID int primary key, c int);

现在将ID=2的这行的值加1，SQL语句如下：

mysql> update T set c=c+1 where ID=2;

先继续上MySQL的架构图，可以说是查询语句所走的流程，更新语句同样会走一遍。

整体流程：

1. 连接数据库，执行语句前的必要工作；
2. 更新操作会失效跟这个表有关的所有查询缓存（这就是为什么一般不建议使用查询缓存）；
3. 分析器通过词法分析和语法分析确定是一条更新语句；
4. 优化器决定使用ID这个索引；
5. 执行器负责找到这一行，让后执行更新。

乍一看感觉其实和sql查询语句差不多的，其实不然，更新流程在执行器执行这一步大有不同，涉及到两个重要的日志模块，这篇文章的主角也是这两块：

redo log（重做日志）和bin log（归档日志）。这两个词只要是接触MySQL肯定是绕不过的，redo log和bin log其实有很多有意思的设计点，这些设计思路经常被用到各个系统中，它的思维理念在我们自己的程序里某些场景也很有参考价值。

1.1 redo log

InnoDB引擎特有的日志

我以一个形象的例子说明，有个酒店掌柜，刚开业每天来吃饭赊账的人很多，他准备了一个账本，每天把顾客名和账目记录上，当有人赊账或者还账时就把账本翻出来，把这次赊的账加上或者扣除掉，看着还不错。

随着时间推移，柜台的生意变得火爆起来了，同时赊账和还账的人也多了，掌柜发现这样记录效率太低了。首先，你得找到这个人赊账总额那条记录。一两页还好，如果有几十页呢？又如何呢？可能得戴上老花眼镜慢慢找，找到了再拿出算盘算，最后将结果写会账本上。

太麻烦了，掌柜头都大了！

店里的王小二从小就爱看书，博学多才，眼睛一转，给掌柜出了个主意。

找了一块大粉板，放在酒店大堂上，先在粉板上记下当天的赊账和还账，等打烊了以后再把账本翻出来核算，这样大大提高了效率。

回到正题

在MySQL中有同样的问题，如果每次更新都需要写磁盘，整个过程（先在磁盘上找到那条记录，然后再更新）的IO成本、查找成本都是很高的。MySQL的设计者就用了王小二提出的”粉板“的思路来提升了更新效率。

粉板和账本配合的整个过程，其实在MySQL中设计者抽象出了一个名词：WAL技术（Write-Ahead Logging），它的关键点就是先写日志，再写磁盘。

具体来说：

1. 当有一条记录需要更新时，InnoDB引擎会先将记录写到redo log（粉板）里面，并更新内存，这个时候表示更新就完成了；
2. InnoDB引擎会在适当的时候将操作记录更新到磁盘里面（往往会在系统较为空闲的时候做，就如同打烊后整理账本一样）。

再思考一个问题，如果今天的赊账较多，粉板在还未打烊前就写满了，又如何呢？

这时候，没别的办法，掌柜只能放下手中的活，把粉板上部分赊账记录更新到账本中，然后擦掉这部分记录，为新账腾一点空间。

与此类似：

InnoDB的redo log是固定大小的，比如可以配置为一组4个文件，每个文件的大小是1GB，那么这块“粉板”总共就可以记录4GB的操作。

从头开始写，写到末尾就又回到开头循环写，如下图所示：

1. write pos是当前记录的位置，一边写一边后移，写到第3号文件末尾后就回到0号文件开头；
2. check point是当前要擦除的位置，也是往后推移并且循环的，擦除记录前要把记录更新到数据文件（check point之前所有页）。
3. write pos和checkpoint之间的是“粉板”上还空着的部分，可以用来记录新的操作。如果write pos追上checkpoint，表示“粉板”满了，这时候不能再执行新的更新，得停下来先擦掉一些记录，把checkpoint向前推进一下。

有了redo log，InnoDB就可以保证即使数据库发生异常重启，之前提交的记录也不会丢失，这种能力称为crash-safe

对于crash-safe有个形象的概念，还是前面赊账的例子，只要当天赊账记录写在了粉板上，即使是酒店停业几天，恢复生意后依然可以通过账本和粉板上的数据明确赊账账目。

1.2 bin log

Server层自己的日志

为什么会有两份日志？

因为最开始MySQL没有InnoDB引擎，只有自带的MyISAM，但它没有crash-safe能力，bin log只能用来归档，有家公司就以插件的形式将InnoDB引入到了MySQL来实现了crash-safe能力。

与redo log有何不同呢？

1. redo log是InnoDB引擎特有的；binlog是MySQL的Server层实现的，所有引擎都可以使用；
2. redo log是物理日志，记录的是“在某个数据页上做了什么修改”；binlog是逻辑日志，记录的是这个语句的原始逻辑，比如“给ID=2这一行的c字段加1 ”；
3. redo log是循环写的，空间固定会用完；binlog是可以追加写入的。“追加写”是指binlog文件写到一定大小后会切换到下一个，并不会覆盖以前的日志。

1.3 更新语句在执行器和存储引擎的执行过程

1. 执行器先找引擎取ID=2这一行。ID是主键，引擎直接用树搜索找到这一行。如果ID=2这一行所在的数据页本来就在内存中，就直接返回给执行器；否则，需要先从磁盘读入内存，然后再返回。（找数据）
2. 执行器拿到引擎给的行数据，把这个值加上1，比如原来是N，现在就是N+1，得到新的一行数据，再调用引擎接口写入这行新数据。（执行更新操作）
3. 引擎将这行新数据更新到内存中，同时将这个更新操作记录到redolog里面，此时redo log处于prepare状态。然后告知执行器执行完成了，随时可以提交事务。（写入更新后的数据并记录redo log）
4. 执行器生成这个操作的bin log，并把binlog写入磁盘。（记录bin log）
5. 执行器调用引擎的提交事务接口，引擎把刚刚写入的redo log改成提交（commit）状态，更新完成。（更新 redo log状态）

如下图所示，浅色表示InnoDB内部执行，深色表示在执行器中执行：

最后3步将redo log提交拆为了两步：prepare和commit，这就是经常说的"两阶段提交"。

1.4 两阶段提交

两阶段提交是为了让两份日志之间逻辑一致

先看个问题，怎样让数据库恢复到半个月内任意一秒的状态？

如果你的DBA对你说半个月内的数据可以恢复，那他一定在备份系统保存了最近半个月的所有bin log，同时系统会定期做整库备份，可以是一天一备，也可以是一周一备，取决于你期待的"最长恢复时间"是多少，就是所说的RTO（恢复目标时间）指标。

那你就会说，那肯定一天一备更好了，但其实不然，取决于你当前的业务的重要性，因为这样做也是有成本的，需要消耗更多的存储空间。

接着看上面提出的问题，怎样去做数据恢复的？假设你5月4号的下午2点发现当天中午的12点有一次误删表，那可以这样做：

1. 找到最近的一次全量备份。比如我发现5月3号21点有一次全量备份，把这个备份恢复到临时库；
2. 从备份的时间点开始，取出备份的bin log，一直到5月4号12点，重放执行逻辑；
3. 把表数据从临时库取出来，按需要恢复到线上库去。

再说下为什么需要两阶段提交呢？

先假设如果不是两阶段提交会发生什么？

仍用下面的这个sql语句举例，ID=2的c字段为0：

mysql> update T set c=c+1 where ID=2;

1. 先写redo log后写binlog。如果redo log写完了，bin log还没写完，这时候MySQL异常重启了。因为redo log已经写完了，数据还是能正常恢复，所以c的值是1。

   但bin log是还没写完系统就崩了，bin log就没记录这个更新语句，所以后面的备份日志存的bin log也没有这条语句。

   那么一旦需要回复数据库之前某个时刻的状态，在恢复临时库时就少了这一次的更新，临时库中T表中ID=2的c就还是0，和原库的值就不一致了。

2. 先写binlog后写redo log。如果在binlog写完之后系统崩了，redo log还没写，那么恢复后这个事务是无效的，所以c还是为0，但bin log里面是多了这个"c从0改1"这个逻辑的，如果后面也存在数据恢复，那临时库中表T中ID=2的c字段和原库中的值也会不一致。

看到这，你可能会想，平时哪会动不动就恢复临时库？真到了要恢复临时库的场景那也是一次重大的线上事故了，有必要这样设计吗？

其实不然，当你需要扩容的时候，也就是需要再多搭建一些备库来增加系统的读能力的时候，现在常见的做法也是用全量备份加上应用binlog来实现的，这个“不一致”就会导致你的线上出现主从数据库不一致的情况。