Mysql的日志系统

现在我要对下面一张表作更新操作，如下是这张表的建表语句

create table T(ID int primary key, c int)

如果要将ID = 2 这一行的值加1，SQL语句就应该这么写

update T set c = c + 1 where ID = 2

更新语句同样会走下面一套流程

执行数据库操作之前是一定要连接数据库的，这是连接器的工作。

一张表一旦有更新，跟这张表有关的查询缓存都会失效，所以这次更新操作会把表T上的所有所有缓存结果晴空，这就是不推荐使用查询缓存的原因。

接下来，分析器会通过词法和语法分析这是一条更新语句，优化器决定要使用ID这个索引。然后执行器负责具体的执行，找到这一行，进行更新。

Redo Log

在MySql中，如果每一次的更新操作都需要写进磁盘，然后磁盘也要找到对应的那条记录，再进行更新，整个过程IO成本、查找成本都很高，为了解决这个问题，Mysql采用了WAL技术，WAL的全称是Write-Ahead Logging，它的关键点在于先写日志，再写磁盘，即先将更新记录记录在日志中，等不繁忙或者写满了的时候，在写入磁盘。

具体来说，当有一条记录需要更新的时候，InnoDB引擎就会先把记录写到rodo log里面，并更新内存，这个时候更新就算已经完成了。同时InnDB引擎会在适当的时候，把这个操作记录更新到磁盘里边，而这个更新往往是在系统比较空闲的时候做。

如果今天的业务并不繁忙，引擎可以等没事干的时候再处理，但是如果今天的业务特别繁忙，日志被写满了，引擎就只能将手头的事情放一放，把日志的一部分内容写入到磁盘中，再将这些记录从日志中清除，为后续要新增的记录腾出空间。

InnDB的redo log 是固定大小的，比如可以配置一组4个文件，每个文件的大小是1GB。那么这个日志总共就可以记录4GB的操作，从头开始写，写到末尾就又回到开头循环写，如下图所示。

 write pos是当前记录的位置，一边写一边后移，写到第三号文件末尾就回到第0号文件开头，check point是当前要擦除的位置，也是往后退并且循环的，擦出记录前要把记录更新到数据文件。

write pos和check point之间是目前还空着的部分，可以用来记录更新的操作，如果write pos追上check point ，表示已经没有地方“暂存”更新的操作了，这个时候不能再执行更新，把check point向前更新。

有了redo log，InnoDB就用保证即使数据库发生异常重启，之前提交的记录都不会丢失，这个能力成为crash-safe。

binlog

Mysql从整体来看，其实就有两块，一块是server层，他主要做的是Mysql功能层面的事情，还有一块是引擎层，负责存储相关的具体事宜，redolog是InnoDB引擎特有的日志，而Server层也有自己的日志，成为binlog（归档日志）。

之所以有两份日志，是因为最开始Mysql并没有InnoDB引擎，Mysql自带的是MyISAM，但是MyISAM是没有crash-safe能力的，binlog日志只能用来归档，而InnoDB是另一家公司以插件的形式来引入Mysql的，既然只依靠binlog日志无法实现crash-safe，所以InnoDB就使用了另一套日志系统 redolog。

这两份日志有三点不同：

• redo log 是 InnoDB引擎特有的，binlog是Mysql的server层实现的，所有的引擎都可以使用。
• redo log是“物理日志”，记录的是在某个物理页上做了什么修改，而binlog是逻辑日志，记录的是这条语句的原始逻辑，比如"update 数据表 set 字段名=字段值 where 条件表达式"
• redolog是循环写的，空间是固定可以被用完的，而binlog是可以追加写的。“追加写”是指binlog文件写到一定大小会切换到下一个，并不会覆盖以前的数据。

UPDATE执行流程 

1. 执行器先去找引擎取ID = 2的这条数据，ID为主键，引擎直接通过树搜索找到这一行，如果ID = 2的这一行所在的数据页本来就在内存中，就直接返回给执行器；否则，需要先从磁盘读入内存，然后再返回。
2. 执行器拿到引擎给的行数据，把这个值加上1，比如原来是N，现在就是N + 1，得到新的一行数据，再调用引擎接口写入这行新数据。
3. 引擎将这行数据更新到内存中，同时将这个更新操作记录到redolog中，此时redo log处于prepare状态，然后告知执行器执行完成了，随时可以提交任务。
4. 执行器生成做过操作的binlog，并把binlog写入磁盘
5. 执行期调用引擎的提交事务接口，引擎把刚刚写入的redo log改成提出commit状态，更新完成

 上述这种写入binlog，redolog的方式就叫两阶段提交。

两阶段提交

为什么要有两阶段提交，这是为了让两份日志之间的逻辑一致，要说明这个问题，就要说明，如何让数据库恢复到半个月内任意一秒的状态。

binlog会记录所有的逻辑操作，并且是采用“追加写”的形式。如果你的DBA承诺半个月内可以恢复，那么备份系统中一定会保存最近半个月的所有binlog，同时系统会定期的做整库备份，定期的时间取决于系统的重要程度。

当需要恢复到指定的某一秒的时候，首先，找到最近一次的全量备份，从这个备份恢复到临时库

然后，从备份的时间点开始，将备份的binlog依次取出来，冲放到误删表的那个时刻。

这样临时库的表就跟误删前的表一样了，此时就可以将表从临时库中取出来，按需恢复到线上库去。

为什么需要两阶段提交

同时，不仅仅恢复表数据需要用到上述的流程，需要扩容的时候，也就是需要多搭建一些从库来增加系统的读能力的时候，常见的做法也是全量备份 + binlog来实现。