InnoDB体系架构(后台线程和内存池)(读MySQL技术内幕-InnoDB存储引擎)

1.InnoDB有多个后台线程(mysql引擎自己的)和内存块(内存块组成了一个大的内存池)

内存池:缓存磁盘的数据

后台线程:保证内存中缓存的是最新数据,并将数据刷新到磁盘中

后台线程:

Master Thread (将数据缓冲池中的数据异步刷新到磁盘,包括脏页的刷新,合并插入缓冲,UNDO页的回收)

 脏页:内存数据页和磁盘数据页不一致时,称这个内存页为脏页,一致的内存页就是干净页

 合并插入缓冲:https://blog.csdn.net/qq_39101581/article/details/87276614

 UNDO页:日志,用于存放记录修改前的值(表中一个值从2修改到3,UNDO存放2,当修改出现异常时,用日志来回滚)

IO Thread

 大量使用AIO(Async IO)处理IO请求,提高性能。

 

此线程主要负责IO请求的回调,一共有四种(10个)IO Thread ,分别为write,read,insert buffer 和log IO thread,windows可以调整数量,Linux不可

show engine innodb status;(产看mySql里面的IO线程)

Purge Thread 

事务提交后,此线程用来回收undo页,减轻Master Thread工作量(可自己在配置文件中设置多个Purge Thread)

Page Cleaner Thread

脏页的刷新,减轻主线程的负担

 

内存:

将磁盘读到的页存放到缓冲池中,这个过程叫:将页“FIX”到缓冲池中

修改数据时:先修改缓冲池的页,在以一定的频率刷新到数据库(不是立即,通过Checkpoint机制刷新到磁盘)

下图为缓冲池的大小(以字节为单价,共8M)

缓冲池中缓存的数据页类型有:索引页,数据页,undo页,插入缓冲(insert buffer),自适应哈希索引,锁信息,数据字典等。。

且现在允许多个缓冲池实例来操作缓冲池,提高并发性能 (下图值设置大于一)

LRU List (Latest recent Used),Free List 和 Flush List

Innodb的LRU算法(midpoint insertion strategy算法)(最近最少使用)管理缓冲池:最频繁使用的页在LRU列表前端,最少使用的页在尾端,并在LRU列表中加midpoint位置(默认LRU列表5/8位置,位置由innodb_old_blocks_pct参数控制(下图)),最新访问的页,不是加在首部,而是加在midpoint位置,

默认值:37(尾端3/8位置),这个位置之后的叫old列表,之前的叫new列表(最新最活跃数据)

最朴素的LRU算法的缺点:直接将读取的数据放在首部,当进行数据库的扫描操作时,需要访问数据库中的许多页,甚至全部页,而这些数据仅仅是这一此sql操作中需要,不是真正的热点数据,那么真正的热点数据就被刷出缓存了,下次访问就需要在磁盘中查找,Innodb用innodb_old_blocks_time参数做控制,表示页读取到mid位置后需要等待多久才会加入到LRU列表的热端(就是说数据已经读到LRU列表的mid位置后,不会立即把原来的5/8数据刷掉,会等一段时间,因为这段时间是有可能用到真正的热数据的,时间过了又没有其他sql操作,就把之前的LRU数据替换掉了,有的话就不替换了)

LRU列表只管理已经读取的页,则数据刚启动时为Null,此时页都放在Free列表中。需要从缓冲池中分页时,先查看Free有无空闲页,有则给LRU,没有的话根据LRU算法,淘汰LRU尾端的页,分给新页

page made young操作:LRU列表old-->new 

page not made young操作:因为innodb_old_blocks_time的设置导致没有old--->new

show engine innodb status;查看LRU列表和Free列表的使用情况和状态(不是当前状态,过去时间范围内,下图)

 

unzip_LRU列表:管理压缩的数据页,16KB--->可能压缩到为:1KB,2KB,4KB,8KB。unzip_LRU对不同大小的页是分开管理的

内存分配(伙伴算法):如在缓冲池中需要4KB的页

1.检查4KB的unzip_LRU列表,查看是否有空闲页,有则直接使用

2.没有的话,查看8KB的unzip_LRU列表,查看是否有空闲页,有的话分成2个4KB的页,存放在unzip_LRU列表

3.还是没有的话,从LRU列表中申请一个16KB的页,分成1个8KB,2个4KB的页,分别放入对应的unzip_LRU列表

 

Flush列表中即为脏页列表,但脏页即存在LRU列表中,也存在Flush列表中,LRU列表管理缓冲池中页的可用性,而Flush列表管理脏页的刷新回磁盘,互不影响。

 

重做日志缓冲(redo log buffer)

innodb先将重做日志信息放在这个缓冲区,再按一定频率刷新到重做日志文件中

下面三种情况会将重做日志缓冲刷新到磁盘的日志文件中:

1.Master Thread每秒刷新一次

2.每个事务提交时会刷新一次

3.日志缓冲剩余空间小于1/2时,会刷新一次

 

额外内存池

类似于一些特殊的对象的内存是需要到额外内存池中申请的

 

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: MySQL技术内幕InnoDB存储引擎是一本关于MySQL数据库中最常用的存储引擎InnoDB技术指南。该书由一线数据库专家撰写,系统地介绍了InnoDB存储引擎的内部原理、架构和实现细节。者可以通过阅该书,深入了解和掌握InnoDB存储引擎的核心知识,提升对MySQL的理解和应用。 其中,本书的主要内容包括了以下几个方面: 1. InnoDB存储引擎的基本概念和设计思想:介绍了InnoDB存储引擎的概述、体系结构和设计理念,包括了数据结构、内存管理、存储结构和索引等方面的介绍。者可以通过了解InnoDB的设计思想,更好地理解其实现机制和使用方法。 2. 事务和锁机制:详细介绍了InnoDB支持的事务和锁机制,包括了并发控制、锁类型、死锁和事务隔离级别等内容。通过学习事务和锁机制,者可以了解InnoDB在多线程并发访问中如何保证数据的一致性和并发性。 3. 缓冲池和日志系统:重点介绍了InnoDB的缓冲池管理和日志系统。缓冲池是InnoDB用于管理内存页和磁盘页之间的数据交换的重要组件,而日志系统则负责记录和恢复数据的更改。通过深入了解缓冲池和日志系统的原理和机制,者可以优化数据库的性能和可靠性。 4. 各种存储引擎之间的对比和选择:对比了InnoDB与其他存储引擎,如MyISAM、MEMORY和NDB等,并分析了不同场景下的适用性和性能差异。者可以根据实际需求,选择合适的存储引擎,以达到最佳的性能和可靠性。 通过阅MySQL技术内幕InnoDB存储引擎者可以深入了解MySQL的核心存储引擎InnoDB的设计原理和实现机制,从而更好地利用和优化数据库系统。无论是对于MySQL开发者、DBA还是对于需要处理大规模数据的系统工程师来说,该书都是一本非常实用的参考资料。 ### 回答2: MySQL技术内幕InnoDB存储引擎是一本介绍MySQL数据库内部原理的重要参考书。这本书由巴赫曼大咖撰写,内容详实,透彻地探讨了InnoDB存储引擎架构、设计和实现细节,对于理解MySQL的工作原理以及性能调优和故障排查具有重要的指导意义。 这本书首先介绍了MySQL架构存储引擎的分类,然后重点深入讲解了InnoDB存储引擎。通过阅这本书,者可以了解到InnoDB如何管理数据、索引和事务,并深入理解它的多版本并发控制(MVCC)机制。此外,书中还详细探讨了InnoDB的锁机制、缓冲池管理、日志系统和崩溃恢复等关键组成部分。 该书还提供了一些实用的案例和示例,帮助者更好地理解InnoDB存储引擎的工作原理。同时,它还涵盖了性能调优和故障排查的相关技术,如如何选择合适的硬件配置、优化查询性能以及定位和解决常见的故障问题。 总体而言,MySQL技术内幕InnoDB存储引擎是一本值得推荐的MySQL数据库相关的技术书籍。它不仅为者提供了深入了解InnoDB存储引擎的机会,还为者提供了一些实用的技术指导,使他们能够更好地理解和优化MySQL数据库的性能。无论是MySQL数据库的使用者,还是希望提升数据库技术水平的开发人员和DBA,都将从这本书中受益匪浅。 ### 回答3: 《MySQL技术内幕InnoDB存储引擎》是一本介绍MySQL InnoDB存储引擎技术书籍。InnoDBMySQL数据库中最常用的存储引擎之一,也是MySQL默认的事务引擎。 这本书主要从存储引擎架构、事务处理、并发控制、锁机制、日志系统、缓冲池管理等方面,详细介绍了InnoDB存储引擎的内部原理和工作机制。 在架构方面,本书首先介绍了InnoDB存储引擎MySQL的整体架构,并详细解释了InnoDB存储引擎的各个组件及其相互之间的关系。 在事务处理方面,本书介绍了InnoDB存储引擎的事务ACID特性,事务的提交和回滚机制,以及隔离级别对并发控制的影响。 在并发控制方面,本书详细介绍了InnoDB存储引擎的多版本并发控制(MVCC)机制,通过取一致性非锁定(consistent non-locking read)来实现高并发的取操作。 在锁机制方面,本书解释了InnoDB存储引擎的各种锁类型,如行锁、表锁和页面锁,以及它们的应用场景和使用方式。 在日志系统方面,本书介绍了InnoDB存储引擎的日志系统,包括重做日志(redo log)和回滚日志(undo log),以及它们在事务处理和崩溃恢复中的作用。 在缓冲池管理方面,本书详细介绍了InnoDB存储引擎的缓冲池管理机制,包括缓存页的管理和替换策略,以及如何提高缓冲池的效率和性能。 总的来说,这本书通过深入浅出的方式,系统地介绍了InnoDB存储引擎的内部原理和工作机制,对于想深入理解MySQL数据库的开发人员和DBA来说,是一本非常有价值的参考书。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值