Java最全【阿里年薪百万数据库面试】MySQL会丢数据吗？，面试java项目技术亮点

最新推荐文章于 2024-07-14 22:18:32 发布

2301_82243232

最新推荐文章于 2024-07-14 22:18:32 发布

阅读量1k

点赞数 8

分类专栏：程序员文章标签： java 面试学习

本文链接：https://blog.csdn.net/2301_82243232/article/details/138674725

版权

程序员专栏收录该内容

130 篇文章 0 订阅

订阅专栏

最后

俗话说，好学者临池学书，不过网络时代，对于大多数的我们来说，我倒是觉得学习意识的觉醒很重要，这是开始学习的转折点，比如看到对自己方向发展有用的信息，先收藏一波是一波，比如如果你觉得我这篇文章ok，先点赞收藏一波。这样，等真的沉下心来学习，不至于被找资料分散了心神。慢慢来，先从点赞收藏做起，加油吧！

另外，给大家安排了一波学习面试资料：

以上就是本文的全部内容，希望对大家的面试有所帮助，祝大家早日升职加薪迎娶白富美走上人生巅峰！

本文已被CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录

需要这份系统化的资料的朋友，可以点击这里获取

系统给binlog cache分配了一片内存，每个线程一个，但是共用同一份binlog文件。参数 binlog_cache_size控制单个线程内binlog cache所占内存的大小。若超过该参数值，就要暂存到磁盘。

事务提交时，执行器把binlog cache里的完整事务写入binlog，并清空binlog cache。

binlog写盘状态

TODO

图中的：

write

把日志写入到文件系统的page cache，并没有把数据持久化到磁盘，所以速度较快

fsync

将数据持久化到磁盘。一般认为fsync才占磁盘的IOPS

write 和fsync的时机，由参数sync_binlog控制：

sync_binlog=0，每次提交事务都只write，不fsync
sync_binlog=1，每次提交事务都会执行fsync
sync_binlog=N(N>1)，每次提交事务都write，但累积N个事务后才fsync

因此，在出现I/O瓶颈的场景，将sync_binlog设置成一个较大值，可提升性能。在实际的业务场景中，考虑到丢失日志量的可控性，一般不建议将这个参数设成0，推荐将其设置为100~1000中的某个数值。

但将sync_binlog设置为N，对应的风险是：若主机发生异常重启，会丢失最近N个事务的binlog日志。

redo log的写入机制

============================================================================

接下来，我们再说说redo log的写入机制。

事务在执行过程中，生成的redo log是要先写到redo log buffer的。

那redo log buffer的内容，是不是每次生成后都要直接持久化到磁盘呢？

不需要。

若事务执行期间MySQL异常重启，那这部分日志就丢了。由于事务也尚未提交，所以这时日志丢了也没有损失。

那事务还没提交时，redo log buffer中的部分日志有没有可能被持久化到磁盘呢？

会有。

这个问题，要从redo log可能存在的三种状态说起。这三种状态，对应的就是图2 中的三个颜色块。

MySQL redo log存储状态

TODO

三种状态：

存在redo log buffer

物理上是在MySQL进程内存

写到磁盘(write)，但还没持久化（fsync)

物理上是在文件系统的page cache

持久化到磁盘，即hard disk

日志写到redo log buffer很快，wirte到page cache也差不多，但持久化到磁盘就很慢了。

InnoDB提供innodb_flush_log_at_trx_commit参数控制redo log的写入策略：

0，每次事务提交时都只是把redo log留在redo log buffer中
1，每次事务提交时都将redo log直接持久化到磁盘
2，每次事务提交时都只是把redo log写到page cache

InnoDB的一个后台线程，会每隔1s把redo log buffer中的日志，调用write写到文件系统的page cache，然后调用fsync持久化到磁盘。

事务执行中间过程的redo log也是直接写在redo log buffer，这些redo log也会被后台线程一起持久化到磁盘。即一个没有提交的事务的redo log，也可能已经持久化到磁盘。

除了后台线程每s一次的轮询操作，还有两种场景会让一个未提交的事务的redo log写入磁盘：

redo log buffer占用的空间即将达到 innodb_log_buffer_size的一半，后台线程会主动写盘

由于这个事务并未提交，所以这个写盘动作只是write，没有调用fsync，即只留在文件系统的page cache。

并行的事务提交时，顺带将该事务的redo log buffer持久化到磁盘

假设一个事务A执行到一半，已经写了一些redo log到buffer，这时另外一个线程的事务B提交，若innodb_flush_log_at_trx_commit是1，则事务B要把redo log buffer里的日志全部持久化到磁盘。这时，就会带上事务A在redo log buffer里的日志一起持久化到磁盘。

两阶段提交的过程，时序上redo log先prepare，再写binlog，最后再把redo log commit。

若把innodb_flush_log_at_trx_commit置1，则redo log在prepare阶段就要持久化一次，因为有一个崩溃恢复逻辑是要依赖于prepare 的redo log，再加上binlog来恢复的。

每s一次的后台轮询刷盘，再加上崩溃恢复，InnoDB就认为redo log在commit时无需fsync，只write到文件系统的page cache就够了。

通常我们说MySQL的“双1”配置，指的就是sync_binlog、innodb_flush_log_at_trx_commit都是1。即一个事务完整提交前，需要等待两次刷盘：