MySQL提升笔记（3）日志文件详解

错误日志文件对MySQL的启动、运行、关闭过程进行了记录，是定位MySQL问题的第一把钥匙。

1.2、慢查询日志（slow query log）

---

慢查询日志是用来记录执行时间超过 long_query_time 这个变量定义的时长的查询语句。通过慢查询日志，可以查找出哪些查询语句的执行效率很低，以便进行优化。

1.3、一般查询日志（general log）

---

一般查询日志记录了所有对MySQL数据库请求的信息，无论请求是否正确执行。

默认情况下，general log 是关闭的，开启通用查询日志会增加很多磁盘 I/O， 所以如非出于调试排错目的，不建议开启通用查询日志。

1.4、二进制日志（bin log）

---

关于二进制日志，它记录了数据库所有执行的DDL和DML语句（除了数据查询语句select、show等），以事件形式记录并保存在二进制文件中。

• log_bin：指定binlog是否开启及文件名称。

• server_id：指定服务器唯一ID，开启binlog 必须设置此参数。

• binlog_format：指定binlog模式，建议设置为ROW。

• max_binlog_size：控制单个二进制日志大小，当前日志文件大小超过此变量时，执行切换动作。

• expire_logs_days：控制二进制日志文件保留天数，默认值为0，表示不自动删除，可设置为0~99。

二进制日志文件是非常重要的日志文件，建议开启，二进制日志主要有这么几个作用：

• 恢复：利用二进制文件恢复数据，原理是取出日志的操作记录，重新执行

• 复制：和恢复原理类似，一般分为主库和从库。

• 审计: 通过观察二进制文件，可以判断是否存在对数据库有危险性的操作。

1.5、重做日志（redo log）

---

对于InnoDB，重做日志至关重要，因为它们记录了对于InnoDB存储引擎的事务日志。

当实例或介质失败时，如数据库由于所在主机断电导致实例失败，InnoDB存储引擎就会恢复到断电前的时刻，以此来保证数据的完整性。

InnoDB引擎对数据的更新，是先将更新记录写入redo log日志，然后会在系统空闲的时候或者是按照设定的更新策略再将日志中的内容更新到磁盘之中。这就是所谓的预写式技术（Write Ahead logging）。这种技术可以大大减少IO操作的频率，提升数据刷新的效率。

写入重做日志文件也不是直接写，而是先写入一个重做日志缓冲，然后按照一定的条件顺序写入日志文件。

redo log日志的大小是固定的，为了能够持续不断的对更新记录进行写入，在redo log日志中设置了两个标志位置，checkpoint和write_pos，分别表示记录擦除的位置和记录写入的位置。redo log日志的数据写入示意图可见下图。

当write_pos标志到了日志结尾时，会从结尾跳至日志头部进行重新循环写入。所以redo log的逻辑结构并不是线性的，而是可看作一个圆周运动。write_pos与checkpoint中间的空间可用于写入新数据，写入和擦除都是往后推移，循环往复的。

当write_pos追上checkpoint时，表示redo log日志已经写满。这时不能继续执行新的数据库更新语句，需要停下来先删除一些记录，执行checkpoint规则腾出可写空间。

checkpoint规则：checkpoint触发后，将buffer中脏数据页和脏日志页都刷到磁盘。

同样是记录事务日志，和bin log有什么不同呢？

• bin log会记录所有与数据库有关的日志记录，包括InnoDB、MyISAM等存储引擎的日志，而redo log只记InnoDB存储引擎的日志。

• 记录的内容不同，bin log记录的是关于一个事务的具体操作内容，即该日志是逻辑日志。而redo log记录的是关于每个页（Page）的更改的物理情况。

• 写入的时间不同，bin log仅在事务提交前进行提交，也就是只写磁盘一次。而在事务进行的过程中，却不断有redo ertry被写入redo log中。

• 写入的方式也不相同，redo log是循环写入和擦除，bin log是追加写入，不会覆盖已经写的文件。

1.6、回滚日志（undo log）

---

提到了redo log，这里在简单了解一下回滚日志（undo log）。

回滚日志同样也是InnoDB引擎提供的日志，顾名思义，回滚日志的作用就是对数据进行回滚。当事务对数据库进行修改，InnoDB引擎不仅会记录redo log，还会生成对应的undo log日志；如果事务执行失败或调用了rollback，导致事务需要回滚，就可以利用undo log中的信息将数据回滚到修改之前的样子。

但是undo log不redo log不一样，它属于逻辑日志。它对SQL语句执行相关的信息进行记录。当发生回滚时，InnoDB引擎会根据undo log日志中的记录做与之前相反的工作。比如对于每个数据插入操作（insert），回滚时会执行数据删除操作（delete）；对于每个数据删除操作（delete），回滚时会执行数据插入操作（insert）；对于每个数据更新操作（update），回滚时会执行一个相反的数据更新操作（update），把数据改回去。undo log由两个作用，一是提供回滚，二是实现MVCC。

2、更新语句执行

==========================================================================

接下来结合一条更新语句的执行，来进一步理解bin log和redo log这两种重要日志。

update t set c=c+1 where ID=2;

2.1、更新语句执行流程

---

我们来看执行器和InnoDB引擎在执行这个简单的update语句时的内部流程。

1. 执行器先找引擎取ID=2这一行。ID是主键，引擎直接用树搜索找到这一行。如果ID=2这一行所在的数据页本来就在内存中，就直接返回给执行器；否则，需要先从磁盘读入内存，然后再返回。

2. 执行器拿到引擎给的行数据，把这个值加上1，比如原来是N，现在就是N+1，得到新的一行数据，再调用引擎接口写入这行新数据。

3. 引擎将这行新数据更新到内存中，同时将这个更新操作记录到redo log里面，此时redo log处于prepare状态。然后告知执行器执行完成了，随时可以提交事务。

4. 执行器生成这个操作的binlog，并把binlog写入磁盘。

5. 执行器调用引擎的提交事务接口，引擎把刚刚写入的redo log改成提交（commit）状态，更新完成。

update语句的执行流程图如下：

2.2、两阶段提交

---

这条语句的执行过程中，redo log的写入分成了两个步骤分成了prepare和commit两个阶段进行提交，这就是所谓的两阶段提交。为什么要用两阶段提交呢？

先用通俗的说法：

比如小明去超市里买一瓶可乐：

1. 小明：老板给我来瓶可乐！透心凉心飞扬的那个。

2. 老板：机器扫一下可乐，告诉小明这瓶可乐2块5，给钱（记录 redo log，事务处于prepare状态）

3. 收钱放入钱箱（记录 binlog，事务实际是否完成的根本依据，处于待标记commit阶段）

4. 然后让小明把可乐拿走（redo log 状态标为 commit，表示该事务逻辑闭环）。到这里，代表一笔交易结束。

5. 等算账前再把这一天卖东西的交易信息一起同步到数据库。

可见，如果收钱之前（prepare阶段，步骤3）交易被打断，回过头来处理此次交易，发现只有记了小黑板但没有收钱，则交易失败，删掉小黑板上的记录（回滚）；

如果收了钱后（commit阶段 或 待commit阶段，步骤4 || 5）交易被打断，然后回过头发现系统上有记录（prepare）而且钱箱有本次收入（bin log），则说明本次交易有效，补充修改commit状态，更新到库存中。

---

用正式一点的语言来描述。

最后

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长，自己不成体系的自学效果低效漫长且无助。

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，不论你是刚入门Android开发的新手，还是希望在技术上不断提升的资深开发者，这些资料都将为你打开新的学习之门！

如果你觉得这些内容对你有帮助，需要这份全套学习资料的朋友可以戳我获取！！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！
)]

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，不论你是刚入门Android开发的新手，还是希望在技术上不断提升的资深开发者，这些资料都将为你打开新的学习之门！

如果你觉得这些内容对你有帮助，需要这份全套学习资料的朋友可以戳我获取！！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！