redo log
MySQL的的更新操作不会每次都写入磁盘,如果每一次的更新操作都需要写进磁盘,然后磁盘也要找到对应的那条记录,然后再更新,整个过程IO成本、查找成本都很高。
类似使用酒店掌柜粉板的思路来提升效率。(先写粉板,不忙时候再写账本)
WAL是什么?
Write-Ahead Logging,它的关键点就是先写日志,再写磁盘,也就是先写粉板,等不忙的时候再写账本。
InnoDB引擎就会先把记录写到redo log(粉板)里面,并更新内存,这个时候更新就算完成了。同时,InnoDB引擎会在适当的时候,将这个操作记录更新到磁盘里面,而这个更新往往是在系统比较空闲的时候做,这就像打烊以后掌柜做的事。
如果redo log写满了怎么办?
InnoDB的redo log是固定大小的,比如可以配置为一组4个文件,每个文件的大小是1GB,那么这块“粉板”总共就可以记录4GB的操作。从头开始写,写到末尾就又回到开头循环写
,如下面这个图所示。
write pos: 记录的位置,一边写一边后移,写到第3号文件末尾后就回到0号文件开头。
checkpoint:当前要擦除的位置,也是往后推移并且循环的,擦除记录前要把记录更新到数据文件。
二者中间区域:可以用来记录新的操作。
如果write pos追上checkpoint,就表示写满了
有了redo log,InnoDB就可以保证即使数据库发生异常重启,之前提交的记录都不会丢失,这个能力称为crash-safe
binlog
Mysql Server层也有自己的日志:binlog(归档日志)
为什么会有两份日志呢?
起初的MyISAM没有crash-safe的能力,binlog日志只能用于归档。因为InnoDB是另一个公司以插件形式引入MySQL的,既然只依靠binlog是没有crash-safe能力的,所以InnoDB使用另外一套日志系统——也就是redo log来实现crash-safe能力。
区别:
- redo log是InnoDB引擎特有的。binlog是MySQL的Server层实现的,所有引擎都可以使用。
- redo log是物理日志,记录的是“在某个数据页上做了什么修改”;binlog是逻辑日志,记录的是这个语句的原始逻辑,比如“给ID=2这一行的c字段加1 ”。
- redo log是循环写的,空间固定会用完;binlog是可以追加写入的。“追加写”是指binlog文件写到一定大小后会切换到下一个,并不会覆盖以前的日志。
Update执行流程
如有以下SQL语句:
mysql> create table T(ID int primary key, c int);
# 如果要将ID=2这一行的值加1,SQL语句就会这么写:
mysql> update T set c=c+1 where ID=2;
在一个表上有更新的时候,跟这个表有关的查询缓存会失效,所以这条语句就会把表T上所有缓存结果都清空(所以不建议使用缓存
)
更新流程:
-
执行器先找引擎取ID=2这一行。ID是主键,引擎直接用树搜索找到这一行。如果ID=2这一行所在的数据页本来就在内存中,就直接返回给执行器;否则,需要先从磁盘读入内存,然后再返回。
-
执行器拿到引擎给的行数据,把这个值加上1,比如原来是N,现在就是N+1,得到新的一行数据,再调用引擎接口写入这行新数据。
-
引擎将这行新数据更新到内存中,同时将这个更新操作记录到redo log里面,此时redo log处于·
prepare状态
。然后告知执行器执行完成了,随时可以提交事务。 -
执行器生成这个操作的binlog,并把binlog写入磁盘。
-
执行器调用引擎的提交事务接口,引擎把刚刚写入的redo log改成
提交(commit)状态
,更新完成。
涉及到两阶段提交:为了让两份日志之间的逻辑一致
假设:当前ID=2的行,字段c的值是0。
- 先写redo log后写binlog。如果写完rodo log,MySQL进程异常重启。导致:
实际c的值是1,但是备份恢复,恢复出来的这一行c的值就是0,与原库的值不同
。 - 先写binlog后写redo log。如果在binlog写完之后crash,由于redo log还没写,崩溃恢复以后这个事务无效,所以这一行c的值是0。导致:
实际0,恢复出来c值1。与原库的值不同。
所以:如果不使用“两阶段提交”,那么数据库的状态就有可能和用它的日志恢复出来的库的状态不一致。
innodb_flush_log_at_trx_commit
这个参数设置成1的时候,表示每次事务的redo log都直接持久化到磁盘
sync_binlog
这个参数设置成1的时候,表示每次事务的binlog都持久化到磁盘, 这样可以保证MySQL异常重启之后binlog不丢失。