PebblesDB -- 阅读笔记及与RocksDB性能对比

PebblesDB

Pandian Raju, Rohan Kadekodi, Vijay Chidambaram, and Ittai Abraham. 2017. PebblesDB: Building Key-Value Stores using Fragmented Log-Structured Merge Trees. In Proceedings of ACM Symposium on Operating Systems Principles (SOSP’17). ACM, New York, NY, USA, Article 4, 18 pages.

写放大

基于 LSM-Tree 的键值存储引擎由于顺序写的特性，避免了大量的随机读写，因此具备极高的写吞吐量。但是却存在不容忽视的写放大问题，根本原因在于 Compaction 过程中，为了保证 sstables 之间键值的顺序性，对 sstable进行的反复重写，如下图所示，每次 level 0 中 sstable 的并入，都会引起 level 1 中 sstables 的重写。

过去的工作通过省略合并操作，直接将新的 sstable 追加到下一层，从而避免了 sstable 的重写，然而这种方法使得 sstable 的数量增加，并且同一 level 的 sstables 之间存在 key 的重叠，最终导致读性能的大幅下降。

Fragmented Log-Strctured Merge Trees

<