高可用架构和数据恢复

最新推荐文章于 2024-07-25 11:20:42 发布

c1z

最新推荐文章于 2024-07-25 11:20:42 发布

阅读量88

点赞数

分类专栏： MySQL 文章标签： mysql

本文链接：https://blog.csdn.net/weixin_49648855/article/details/133674047

版权

MySQL 专栏收录该内容

9 篇文章 0 订阅

订阅专栏

什么是Bin Log

二进制文件，所有对数据行和表进行操作，用于数据之间的同步和数据的恢复。
对于Bin Log文件的查看和使用需要使用 mysqlbinlog 命令。

如何使用Bin Log进行数据的恢复

mysqlbinlog [option] filename|mysql –uuser -ppass;
可以指定数据库的时间节点，和数据的范围，有选择的进行恢复。

Bin Log日志写入时期

在事务执行过程中，将bin log日志记录到 Binlog Cache中，因为一个事物的BinLog Cache无论多大都必须一次性写入，不能分割，因此系统会为每个线程分配一个Binlog Cache，如果BinLog的内容超出了BinLog Cache的上限，则会将文件暂存到磁盘中
仅当事务提交后，线程才会将 Bin log日志从 Binlog Cache中写入到 Page Cache 文件缓存中
此时根据 sync_binlog 选项设置，在什么时机内从 Page Cache文件缓存刷入到磁盘中
当 sync_binlog = 0时，则为不主动进行刷盘策略，此时如果数据库发生宕机，可能会有大量事务的 binlog文件丢失
当 sync_binlog = 1时，则每次提交事务后都会将 binlog文件从 Page Cache中刷入到磁盘中，但此时需要频繁的IO，可能会遇到IO的瓶颈
当 sync_binlog = 其他数量时，当 Page Cache 中累计的数量达到了设置的数量时，才会将日志文件从 Page Cache中刷入到磁盘中。如果此时数据库发生宕机，则会损失一部分数据，但会减少IO的次数，提高性能。

更新时 redoLog和binlog的一致性问题

Redo Log和Bin Log 写入顺序

在执行更新语句时，先从磁盘中数据读取到缓冲池中，然后写入 Undo Log，然后进行数据的更新，然后持续写入 Redo Log到Redo Log Buffer中
在事务执行完毕后，会开始进入提交事务的环节，此时会先开始 prepare阶段先写入 Redo Log的写入到 Page Cache中
因为事务的崩溃恢复机制需要 Redo Log日志，此时其实只需要 Redo Log 的 Prepare阶段 fsync执行完毕后即可，因此Innodb认为最后Redo Log 的commit阶段 write执行完毕即可，可以不执行 commit的 fsync阶段

在事务过程中，出现MySQL宕机如何判断是提交还是回滚

如果Redo Log中包含 commit标志，则说明事务已经完成，此时可以直接提交事务。
如果Redo Log中只有完成的 Prepare 阶段的日志，则需要先判断 Bin Log日志是否完整，如果BIn Log日志完整，则提交事务，否则进行事务的回滚操作
如何判断bin log是否完整，在日志文件中结尾有标识位，判断BIn Log的结尾处是否包含标识位，则可以判断BIn log文件是否完整
Redo Log和BIn Log有个共同的字段，事务Id，在崩溃恢复时，会先扫描Redo Log，如果Redo Log中包含 Prepare和 commit的信息，则直接提交，如果仅包含Prepare 则根据事务Id去BIn Log中查询对应的信息

主从同步的原理

主从同步是基于BIn Log 日志的同步来实现的，根据BIn Log日志记录的操作，执行后即可达到数据同步的目的。
在数据更新事务提交完成后，主库中的数据修改完成，此时该次事物的 Bin Log日志也已经记录在磁盘中。
主从同步的实现需要有三个线程执行，首先在主库中会有一个 Log dump的线程，将主库中的磁盘进行发送到从库中。
从库中有一个IO线程，接收来自主库的 Log Dump线程的信息，将接收到的信息写入中继日志 RelayLog。
从库中第二个线程用于执行RelayLog，依次执行SQL语句，从而达到数据同步的目的。

主从复制会遇到的问题

主从同步数据丢失

即binlog数据丢失，导致虽然主库上完成了操作，但由于binlog日志丢失，导致从库中的数据是缺失的。解决方案可以将Binlog刷盘的频率参数 sync_binlog = 1 解决此问题，但是这样IO会收到限制，这样可以保证每次事务完成都成功将Binlog日志刷入到磁盘中，也就保证从库获取到的 binlog日志时完整的，保证了数据的完整性。