每天十分钟学Java:了解InnoDB存储引擎的内存池

  • 自适应哈希索引(adaptive hash index)

  • InnoDB存储的锁信息(lock info)

  • 数据字典信息(data dictionary

读数据操作

  • 首先将从磁盘读到的页存放在缓冲池中,这个过程称为将页“FIX”在缓冲池中

  • 下一次再读相同的页时,首先判断该页是否在缓冲池中

  • 若在缓冲池中,称该页在缓冲池中被命中,直接读取该页。否则,读取磁盘上的页

写数据操作

  • 首先修改在缓冲池中的页,然后再以一定的频率刷新到磁盘上

  • 页从缓冲池刷新回磁盘的操作并不是在每次页发生更新时触发

  • 通过一种称为Checkpoint的机制刷新回磁盘

配置参数:

  • innodb_buffer_pool_instances, 缓冲池实例个数默认1,InnoDB 1.0.x版本开始使用,每个页根据哈希值平均分配到不同缓冲池实例中。减少数据库内部的资源竞争,增加数据库的并发处理能力。

  • innodb_buffer_pool_size,缓冲池大小

命令参数:

  • 可通过命令查看缓冲池大小 SHOW VARIABLES LIKE ‘innodb_buffer_pool_size’

  • 通过命令可查看缓冲池实例个数 SHOW VARIABLES LIKE ‘innodb_buffer_pool_instances’

缓冲池的管理


缓冲池是一个很大的内存区域,其中存放各种类型的页。其实这么大的内存区域是通过LRU算法来进行管理的,而这里的LRU也是InnoDB 对传统的做了一些优化

LRU List

传统LRU:

  • 最频繁使用的页在LRU列表的前端

  • 最少使用的页在LRU列表的尾端

  • 缓冲池不能存放新读取到的页时,将首先释放LRU列表中尾端的页

InnoDB改进版LRU:

  • LRU列表中加入了midpoint位置

  • 新读取到的页是放入到LRU列表的midpoint位置

  • 默认配置下,该位置在LRU列表长度的5/8处。midpoint位置可由参数innodb_old_blocks_pct控制

  • 引入innodb_old_blocks_time 参数,用于表示页读取到mid位置后需要等待多久才会被加入到LRU列表的热端

Free List

  • LRU列表用来管理已经读取的页,但当数据库刚启动时,LRU列表是空的,即没有任何的页。这时页都存放在Free列表中.

  • 当需要从缓冲池中分页时,首先从Free列表中查找是否有可用的空闲页,若有则将该页从Free列表中删除,放入到LRU列表中。否则,根据LRU算法,淘汰LRU列表末尾的页,将该内存空间分配给新的页

  • 当页从LRU列表的old部分加入到new部分时,称此时发生的操作为page made young,而因为innodb_old_blocks_time的设置而导致页没有从old部分移动到new部分的操作称为page not made young

  • 可以通过命令SHOW ENGINE INNODBSTATUS来观察LRU列表及Free列表的使用情况和运行状态

Flush List

  • LRU列表用来管理缓冲池中页的可用性,Flush列表用来管理将页刷新回磁盘,二者互不影响

  • 在LRU列表中的页被修改后,称该页为脏页(dirty page),即缓冲池中的页和磁盘上的页的数据产生了不一致。

  • 这时数据库会通过CHECKPOINT机制将脏页刷新回磁盘,而Flush列表中的页即为脏页列表。

  • 脏页既存在于LRU列表中,也存在于Flush列表中。

缓冲池中的页还可能会被分配给自适应哈希索引、Lock信息、InsertBuffer等页,而这部分页不需要LRU算法进行维护,因此不存在于LRU列表中。

重做日志缓冲(redo log buffer)


  • InnoDB存储引擎首先将重做日志信息先放入到这个缓冲区,然后按一定频率将其刷新到重做日志文件

  • 重做日志缓冲一般不需要设置得很大,因为一般情况下每一秒钟会将重做日志缓冲刷新到日志文件

自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。

深知大多数Java工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!

因此收集整理了一份《2024年Java开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。img

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Java开发知识点,真正体系化!

由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且会持续更新!

如果你觉得这些内容对你有帮助,可以扫码获取!!(备注Java获取)

img

如何快速更新自己的技术积累?

  • 在现有的项目里,深挖技术,比如用到netty可以把相关底层代码和要点都看起来。
  • 如果不知道目前的努力方向,就看自己的领导或公司里技术强的人在学什么。
  • 知道努力方向后不知道该怎么学,就到处去找相关资料然后练习。
  • 学习以后不知道有没有学成,则可以通过面试去检验。

我个人觉得面试也像是一场全新的征程,失败和胜利都是平常之事。所以,劝各位不要因为面试失败而灰心、丧失斗志。也不要因为面试通过而沾沾自喜,等待你的将是更美好的未来,继续加油!

以上面试专题的答小编案整理成面试文档了,文档里有答案详解,以及其他一些大厂面试题目

八年CRUD,疫情备战三个月,三面头条、四面阿里拿offer面经分享

八年CRUD,疫情备战三个月,三面头条、四面阿里拿offer面经分享

《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取!
里有答案详解,以及其他一些大厂面试题目**

[外链图片转存中…(img-ZVeXmO3o-1713740157441)]

[外链图片转存中…(img-RyUoWbtc-1713740157441)]

《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取!

  • 23
    点赞
  • 25
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值