centos mysql flush_mysql参数innodb_flush_method解析

背景

由于mysql的innodb引擎对于数据文件和日志文件都有自己的内存缓冲,在真正写入磁盘时,完全可以不使用os的io缓冲机制(避免双缓冲的冗余浪费)。

所以mysql提供了对应的参数innodb_flush_method来控制对文件写入的方式,当innodb_flush_method=O_DIRECT就能绕过os的缓冲,是比较推荐的一种选项。

innodb_flush_method几个选项的解析

首先让我们忘记mysql,先来看下linux os提供的文件操作方式

open文件的三种模式

O_DIRECT,O_SYNC,O_DSYNC以及default模式(当然可选的远不止这四个,由于本文不涉及其他的,就忽略介绍了)

default每次读写都会使用os缓冲,写时不保证数据落入磁盘

O_DIRECT每次读写文件时是直接向磁盘写入,绕过os缓冲,但是返回的时候不保证数据和元数据信息已经完全刷入磁盘

O_SYNC仍然会使用os的缓冲,只不过在每次写的时候强制将缓冲刷入磁盘(包括所有元数据信息)

O_DSYNC仍然会使用os的缓冲,只不过在每次写的时候强制将缓冲刷入磁盘(包括部分元数据信息)

O_DSYNC相较于O_SYNC,可能会减少磁盘操作次数,因为元数据和文件数据可能在磁盘的不同区域,O_DSYNC可以减少这部分元数据的磁盘操作。

上面是open打开文件的系统调用,linux还有一种专门用于刷入磁盘的系统调用fsync,用于将某个文件的os缓冲数据全部刷入磁盘。

然后我们来看看mysql是怎么使用这些文件操作方式的,这里的前提是mysql每次写文件的目的都是刷入磁盘,仅仅写入os缓冲不足以保证崩溃后的数据一致性。

mysql通过参数innodb_flush_method调节对数据文件和日志文件读写的方式

innodb_flush_method在linux os下的取值为

fsync 默认选项,使用default + fsync操作数据文件和日志文件,即 读写都经过os缓冲,写完后再调用fsync刷入磁盘。

O_DSYNC 使用上述的O_SYNC打开日志文件,即每次写完日志文件,os会自动通过fsync刷入磁盘;使用default + fsync 操纵数据文件。mysql这里没有直接使用O_DSYNC打开文件,据文档描述是因为O_DSYNC在某些操作系统上存在问题。(但是我不太明白这里为什么要对日志文件和数据文件区别对待)

O_DIRECT 使用上述的O_DIRECT打开数据文件和日志文件,然后在每次写入后使用fsync确保所有数据刷入磁盘。(由于O_DIRECT返回不保证数据完成刷盘,这里需要调用fsync完成刷盘保证)

O_DIRECT_NO_FSYNC 使用上述的O_DIRECT打开文件,在写入操作后不使用fsync刷入磁盘。这里有一些具体的细节建议直接参考文档文档。 由于没有fsync保证磁盘刷入完成,文档最后也说明了这种方式有可能造成数据丢失。(我觉得这种方式适合在有可靠存储的保障下使用,这时mysql为了增加性能,想尽办法省去了一些fsync)

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值