mysql写放大_透明压缩技术如何缓解数据库中写放大

作者为ScaleFlux系统团队郑宁，王欢、许树堃。

1●数据库中的写放大在数据库的使用过程(包括其它多种应用)中，我们通常会关注一些系统指标，比如CPU的使用率，内存的占用量，或者IO的带宽消耗等等。这些系统指标可以帮助我们评估应用对系统资源的占用情况，进而找到应用进一步优化的方向。当前常见的一些数据库，例如MySQL，MariaDB，PostgreSQL，RockDB等等，从设计思路上可以分为图1【1】所示的两大类：基于B/B+树的结构——这种结构通过B/B+树上的节点管理和组织数据库内的记录，当记录有增减时，树里的节点可以进行相应的分裂与合并。

基于日志结构合并(LSM，log structure merge)树的结构——这种结构将数据库内的记录存储在多个level中，level之间通过相应的合并来适应数据库记录的增减以及维持树的形状。

(a) B+树

(b)LSM树

图1. B+树结构和LSM树结构

通常在数据库运行的时候，其占用的写带宽是远远大于上层所能看到的TPS(transactions per second，每秒事务数)折算后所需要的带宽的。例如，对于记录大小为1KB，TPS为1K的情况，理想情况下写带宽的占用是1KB * 1K/s = 1MB/s，但实际中带宽的占用可能是十数MB/s甚至数十MB/s。这是因为在数据库(包括更底层的软件栈)中，为了保证数据的安全性和一致性，以及设计上的简洁性和高效性，不可避免地引入了写放大问题。写放大带来的最直接的问题就是写入带宽的占用量大幅增长，另一个问题就是SSD寿命的快速消耗。在SSD中，受NAND擦写物理条件的限制，新的数据总是写在新的地方，而NAND总的擦写次数是有限的，这就造成了写入的数据量越多，NAND越容易被写满，进而需要更频繁的擦除和垃圾回收，因此寿命消耗地也越快。写放大问题对于即将量产的QLC(每个NAND cell对应4个比