数据库存储层都涉及到哪些工作？

做数据库有一段时间了。最近有一些在校的同学问到，在实际中，分布式数据库中存储层工作内容是什么样的？简单回答了下，想到其他人可能也有类似问题，于是来这里总结下、抛个砖头。经验所限，难免有误，欢迎交流。

注：限定下讨论范围，分布式数据库，存储计算分离，share-noting 架构，仅讨论存储层。

存储层涉及的东西很庞杂，想说清楚，需要有一个合适的切入角度。数据库最本质的功能，是存储数据，以对外提供数据的查询和写入接口。不妨，就首先以这两条线串一下各个模块，然后再补充下不能归到这两条线中的一些组件。

作者：木鸟杂记 https://www.qtmuniao.com/2022/05/04/distributed-database-storage-components 转载请注明出处

查询

查询请求进到存储层，一般表现为下推的执行计划，进而转化为对底层存储引擎的单点查询和范围查询，为了加速查询，一般会给存储引擎配备缓存层。对于每个存储节点来说，为了应对大量的并发请求，需要做 IO 优化。

执行计划

这是存储层的入口，是存储层向查询层暴露的接口。

一个查询语句经过查询层的语法分析（Parser）、语义检查（Validator）、生成计划（Planner）、计划优化（Optimizer）、执行计划（Executor）几个步骤之后，会将需要下推给存储层的算子下发到存储层对应的分片（ Partition）所在节点。

对于火山模型来说，我们可以将执行计划理解为一个由基本算子（Executor）组成的 DAG，甚至再简化一些可以想象成一棵树。树中下层的一些小子树，是可以直接推到存储层对应的节点去执行的，这些可以下推的算子通常包括：TableScan，Filter，Project，Limit，TopN 等等。

存储层拿到这些执行计划后，反序列化，组织成内存中的执行计划，以迭代模型[1]或者向量模型，来对数据进行扫描、过滤、排序、投影、聚合等操作后，将结果集返回给查询层。

结果集可以有几种返回方式：

1. 一次全量返回

2. 流式返回

3. 分页返回

计算下推有诸多好处：

1. 充分利用存储层的分布式节点进行预计算。

2. 减少存储层到查询层的数据传输带宽消耗。