Mysql InnoDB存储引擎中的checkpoint技术

最新推荐文章于 2023-07-27 14:39:39 发布
最新推荐文章于 2023-07-27 14:39:39 发布
阅读量485 收藏
点赞数
分类专栏： Mysql 文章标签： mysql 数据库 database
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44027353/article/details/121848418
版权
InnoDB存储引擎采用定期刷新脏页的CheckPoint策略，以提高MySQL宕机重启后的数据恢复效率，保证BufferPool和重做日志文件的可用性。CheckPoint触发条件包括：定时检查、LRU列表空闲页不足、重做日志空间使用超过75%及BufferPool使用超过75%。理解并优化CheckPoint机制对于数据库性能至关重要。
摘要由CSDN通过智能技术生成

InnoDB存储引擎中的CheckPoint技术。

目的：

  • Mysql宕机重启后，数据恢复的效率
  • 保证Buffer Pool的可用性
  • 保证重做日志文件的可用性

CheckPoint可以分为两种，第一种当数据库关闭时执行CheckPoint，第二种是刷新一部分的脏页。InnoDB存储引擎选择的是第二种。

InnoDB存储引擎有一下四种情况会进行CheckPoint：

  • 以一定频率 秒为单位进行CheckPoint
  • 当LRU列表中空闲的页不足100个时会进行CheckPoint
  • 保证redoLog文件的可用空间，所有的Redo log 减去 已经刷新回磁盘中的redo log 也就是未刷新会磁盘的脏页的redo log所占磁盘空间如果超过了总redolog文件磁盘空间的75%就会触发CheckPoint
  • Buffer Pool中所用空间如果超过了75%也会触发CheckPoint
胡尚
关注
专栏目录
MySQL InnoDB存储引擎原理与缓存组件参数优化
Mr.xing的博客
03-11 1791
AHI有一个要求，对这个页的连续访问模式(查询条件)必须一样的。缓冲池简单来说就是一块内存区域，在数据库中进行读取页的操作时，先从磁盘读到的页存放在缓冲池中，下一次读取相同的页时，先判断该页是不是在缓冲池中，若在则该页在缓冲池中被命中，直接读取该页，否则就读取磁盘上的页然后再放到缓冲池中。缓冲池是通过LRU(Latest Recent Used，最近最少使用)算法来进行管理的，即最频繁使用的页在LRU列表的最前段，最少使用的页在LRU列表的尾端，当缓冲池不能存放新读取的页时，首先释放LRU列表尾端的页。
InnoDB存储引擎体系架构
qq_43752469的博客
10-28 2565
一、InnoDB体系结构 InnoDB 存储引擎有多个内存块，这些内存块组成了一个大的内存池，负责的工作如下： 维护所有进程/线程需要访问的多个内部数据结构。 缓存磁盘上的数据，方便快速地读取，同时在对磁盘文件的数据修改之前在这里缓存。 重做日志缓冲（redo log）。 后台线程的作用：负责刷新内存池中的数据，保证缓冲池中的内存缓存的是最近的数据。将已修改的数据文件刷新到磁盘文件，同时保证在数据库发生异常的情况下 InnoDB 能恢复到正常运行状态。 二、后台线程 InnoDB存储引擎是多线程模型，
InnoDB——Checkpoint
zl
09-19 274
CheckPoint技术 目标问题 如果每当一个页发生变化就将其写回磁盘那么开销会变得很大，而且如果热点数据都在这几个页中，需要频繁修改，频繁写回在读取磁盘，这样数据库性能会变得极差。除此之外，如果数据库在从缓冲池将页的新版本刷新到磁盘时发生了宕机，那么数据便无法恢复造成数据的丢失。 为了避免数据丢失的问题，事务数据库通常都会采用Write Ahead Log的策略，当事务提交的时候，先写重做日志再对页进行修改。当发生宕机而导致数据丢失的时候，可以通过重做日志来进行恢复。 场景： 如果，重做日志可以无限扩大
mysql innodb checkpoint
Maikilee_sys的专栏
09-24 798
https://www.percona.com/blog/2011/02/03/how-innodb-handles-redo-logging/ https://blogs.oracle.com/mysqlinnodb/entry/redo_logging_in_innodb
MySQL InnoDB Checkpoint技术
weixin_35833012的博客
03-03 542
脏页 众所周知，在计算机的世界里，很多技术都是为了解决一个问题，即快速设备和慢速设备速度不匹配的问题。比如数据库PoolBuffer（缓冲池）的设计目的为了协调CPU速度与磁盘速度的鸿沟。当数据库进行更新操作时，首先先更新PoolBuffer，这是产生了所谓的脏页，即缓冲池中的页的版本要比磁盘的新。 WAL PoolBuffer是在内存中开辟的空间，当机器遇到关机，重启等情况数据会丢失，所...
MySQL之深入InnoDB存储引擎——Checkpoint机制
最新发布
qq_25046827的博客
07-27 1174
它从 last Checkpoint 对应的 LSN 开始扫描 redo-log 日志，并将其应用到 buffer-pool 中，直到 last Checkpoint 对应的 LSN 等于 log flushed up to 对应的 LSN （也就是 redo-log 磁盘上存储的 LSN 值)，则恢复完成。由于页的操作首先都是在缓冲池中完成的，那么如果一条DML语句改变了页中的记录，那么此时页就是脏的，即缓冲池中页的版本要比磁盘的新。那么数据库需要将新版本的页刷新到磁盘。所以 InnoDB 存储引擎。
mysql Innodb Checkpoint机制
wangdamingll的博客
07-15 262
一、问题引入 前面已经讲到了，缓冲池的设计目的为了协调CPU速度与磁盘速度的鸿沟。因此页的操作首先都是在缓冲池中完成的。如果一条DML语句，如Update或Delete改变了页中的记录，那么此时页是脏的，即缓冲池中的页的版本要比磁盘的新。数据库需要将新版本的页从缓冲池刷新到磁盘。 倘若每次一个页发生变化，就将新页的版本刷新到磁盘，那么这个开销是非常大的。若热点数据集中在某几个页中，那么数据库的性能将变得非常差。同时，如果在从缓冲池将页的新版本刷新到磁盘时发生了宕机，那么数据就不能恢复了。为了避免发生数据丢失
MySQL技术内幕 InnoDB存储引擎.pdf
12-18
最近在学习MySQL技术内幕 InnoDB存储引擎 第2版，整理了一些文档分享出来，同时也方便以后查看。若有不当之处，烦请批评指正。 1. MySQL体系结构和存储引擎 2. InnoDB存储引擎 2.1 InnoDB体系结构 2.2 ...
MySql技术内 幕：InnoDB存储引擎 读书笔记
qq_33275348的博客
12-06 552
书名 《MySql技术内幕：InnoDB存储引擎》 作者 姜承尧 书摘 第一章：MySQL体系结构和存储引擎 定义数据库和实例： 定义数据库和实例 数据库：文件的集合，frm、MYD、MYI、ibd等 实例：是有后台线程以及一个共享内存区组成。操作数据库文件。单进程...
一文了解InnoDB存储引擎
02-24
本文主要内容：InnoDB体系架构CheckPoint技术InnoDB关键特性下图简单描述了InnoDB存储引擎的体系结构：InnoDB后台有多个不同的线程，用来负责不同的任务。主要有如下：MasterThread这是最核心的一个线程,主要负责将...
MySQL技术：InnoDB存储引擎关键特性之checkpoint
每天叫醒自己的不是闹铃 是娟 是梦 是理想。
08-19 791
一、日常关注的问题 1、我们的日志生成速度？ 　　1、每天生成多少日志、产生多少redo log mysql> show global status like 'Innodb_os_log_written'; +-----------------------+--------+ | Variable_name | Value | +-----------------------+--------+ | Innodb_os_log_written | 107008 | +-
InnoDB的checkPoint技术
way2016的博客
05-16 225
以上是Innodb的checkPoint技术的思维导图。从右到左顺序读，可以清晰地了解checkPoint的技术点
InnoDB存储引擎 Checkpoint技术
J_Shine的博客
02-19 595
缓冲池的设计是为了协调CPU速度和磁盘速度不一致，对于页的操作首先都会在缓冲池中进行。当我们执行update操作时，改变了页中的记录，那此时的页就是脏页，即缓冲池中的页的数据比磁盘的新。数据库需要把新数据刷新到磁盘，以满足数据一致性。 如果是一个页发生变化，就把新数据刷回磁盘，这个开销是非常大的。而且如果在将数据刷新到磁盘的过程中发生了宕机，那么数据就不能恢复了。 为了避免数据丢失，事务数据库...
InnoDB CheckPoint检查点
一只老风铃
02-25 936
缓冲池设计的目的是为了协调CPU速度和磁盘速度的鸿沟。因此页的操作首先会缓冲池中进行。如果一条DML语句，如Update或者Delete改变了页中的记录，那么此页是脏页，即缓冲池的页的版本要比磁盘的新。数据库需要将最新版本的页从缓冲池刷新到磁盘。 倘若每次一个页发生变化，就将此页的版本刷新到磁盘，那么这个开销过于庞大。若热点数据集集中在几个页中，那数据库的性能变得非常差。同时，如果在从缓冲池将页...
InnoDB(2.2)：体系架构之Checkpoint技术
GDUT_Trim的博客
04-12 388
前一面一篇粗略了解InnoDB体系架构里面的缓冲池，下面详细认识以下缓冲池里面的技术和线程执行过程。 Checkpoint技术Write Ahead log策略Sharop CheckpointFuzzy CheckpointMaster Thread CheckPointFlush_LRU_LIST_CheckpointAsync/Sync Flush CheckpointDirty Page too much Checkpoint技术 缓冲池的目的是减少数据库访问磁盘的次数，提高效率的，页的操作一般都
innodb存储引擎-checkpoint技术
hello188988的专栏
05-05 513
Checkpoint（检查点）技术的目的是解决以下几个问题： 缩短数据库的恢复时间； 缓冲池不够用时，将脏页刷新到磁盘； 重做日志不可用时，刷新脏页。
innodb checkpoint
Maikilee_sys的专栏
06-29 651
checkpoint是为了解决： 缩短数据库恢复时间 缓冲池不够用时，将脏页刷新到磁盘 重做日志不可用时，刷新脏页 所以当数据库发生宕机时，数据库不需要重做所有的日志，因为checkpoint之前的页都已经刷新到磁盘了。数据库只需对checkpoint之后的重做日志进行恢复。 当缓冲池不够用时，根据LRU算法将最近最少使用的脏页，强制执行checkpoint，将脏页刷新到磁盘。 重做日志可以被重
MySQL：InnoDB 存储引擎（Checkpoint 技术）
置身于量子事业的软件开发爱好者
08-23 253
asdsInnoDB 是事务安全的MySQL 存储引擎，设计上采用了类似于Oracle 数据库的架构。通常来说， InnoDB 存储引擎是OLTP应用中核心表的首选存储引擎。同时，也正是因为InnoDB 的存在，才使MySQL 数据库变得更有魅力。本章将详细介绍InnoDB 存储引擎的体系架构及其不同于其他存储引擎的特性。 asdsadasdasdasdsadasdasdasdsadassdasdsadasdasdsadasdsadassadasdas————《MySQL技术内幕INNODB存储引擎》 .
MYSQL底层原理3-底层解析(Innodb、CheckPoint)
qq_39124507的博客
11-17 499
上面说的pool技术，那么它是怎么刷到磁盘的呢，比如你执行了一条DML语句，pool的页就变成了脏页，因为pool里面的数据要比磁盘上的数据要新，两者数据不一致。所以数据库需要按一定的规则将脏页刷到磁盘上，如果每次修改都刷盘，那这个pool基本意义也就不是很大了，开销会非常的大。增删改时，首先顺序写入redolog(顺序写非常快)，然后修改pool页(pool里面没有的插入insert buffer)，然后各种线程按一定规则将数据刷到磁盘上，发生故障的话就使用redolog进行数据恢复。
深入解析MySQL InnoDB存储引擎
"MySQL技术内幕 InnoDB存储引擎.pdf" 在深入探讨MySQL技术和InnoDB存储引擎之前，我们首先要理解MySQL的基本架构。MySQL是一个采用单进程多线程设计的数据库系统，其运行时表现为一个进程。在启动时，MySQL会读取...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值