mysql对存储分布式文件系统的存储需求总结

1. 引言

云原生数据库跟分布式mpp数据库是有差异的，虽然两者都是计算与存储分离，但是在资源的占用上有所不同。云原生数据库是shard everything架构，其依赖的存储资源、内存资源、事务资源在云中都是共享、弹性伸缩的。由分布式文件系统提供按需分配、租户隔离的块存储，由分布式内存池提供buffer pool占用的大块内存。分布式mpp数据库则是shard nothing架构，其依赖的存储资源、内存资源、事务资源是单个物理节点上的资源，在SQL计算层进行了分布式计算逻辑的分发。

本文重点介绍共享存储，如果分布式文件系统的iops、每秒刷盘数能够比单个物理节点上的性能线性提升，那么云原生数据库mysql的tps也会随之提升，而且mysql的原生SQL语法都是支持的，包括嵌套子查询、存储过程、函数等。分布式mpp在SQL计算层做分布式计算逻辑的分发，这些可能会被裁减掉。

单机mysql的事务型存储引擎innodb的表空间数据存储依赖于单个linux节点的VFS提供的posix标准的文件操作接口。VFS作为各个具体文件系统（ext4、xfs、ext3等）的抽象层，屏蔽了各个具体文件系统的实现差异，对应用层提供了统一、标准的posix文件操作接口。类似于阿里云的polardb对polarfs的依赖，其实polardb就是mysql的内核源码的二次开发而成的。本文重点罗列云原生数据库mysql在各个场景下对posix文件操作接口需求。

分布式弹性文件系统要具体地实现这些接口，各个接口的语义要完全符合posix标准。并提供mount挂载的功能，将其实现的具体接口注册到VFS内部，mysql将表空间放置到挂载了分布式弹性文件系统的路径下，innodb内部对表空间文件操作时候，实际上就调用了分布式文件系统提供的文件操作的api。

innodb的表空间有用户表空间、系统表空间、Redo日志、Undo表空间。本文重点分析用户表空间对文件操作接口的需求，应该也涵盖了其余的表空间对文件操作接口的需求。

用户对用户表空间的操作主要有两类，一类是表空间数据的读写，另一类是表空间DDL操作，对应到posix标准的文件操作接口，一类是文件数据读写IO，另一类是文件的元数据操作。

2. 表空间数据的读写操作

2.1 同步IO

同步IO会阻塞调用线程，直到IO完成，调用线程才返回，pwrite/pread函数是线程安全的同步IO，lseek+read/write函数非线程安全，需要加互斥锁，并发量大的时候，对性能有一定的影响。以下几种场景下，会使用同步IO。