数据库的数据结构（3）——LSM-Tree与B-Tree.md

最新推荐文章于 2023-05-09 16:13:44 发布

林中白泽

最新推荐文章于 2023-05-09 16:13:44 发布

阅读量164

点赞数

分类专栏：数据密集型应用系统设计文章标签：数据库

本文链接：https://blog.csdn.net/L1kk_/article/details/114554970

版权

3 篇文章 0 订阅

订阅专栏

使用相关算法的数据库：LevelDB、RocksDB、Cassandra、HBase等

log写入（追加写入）时，将其添加到内存中的平衡树（内存表）数据结构中。
当内存大于某个阈值（通常为若干MB，如redis自动aof的size是64mb）时，将其作为SSTable文件写入磁盘。由于树已经维护了按key排序的key-value对，写磁盘可以相对高效。新的SSTable已经成为数据库的最新部分。当SSTable写磁盘的时候，写入可以继续添加到一个新的内存表实例。
每次处理读请求，首先常识在内存表中查找key，然后是最新的磁盘段文件，然后是次新的磁盘段文件，以此类推，直到找到目标或者为空。
后台进程周期性地执行合并与压缩的过程，来合并多个段文件（可变大小），并丢弃哪些被覆盖或者被删除的部分。
如果数据库崩溃，在内存表中但是尚未写入磁盘的log将会丢失，为了避免这种情况，可以在磁盘上保存单独的日志，每个写入都会立刻追加到日志。日志文件不需要按键排序，它唯一的目的是在崩溃中恢复内存表，当内存表写入SSTable时，相应的日志就可以被丢弃了。

LSM顺序写入磁盘的效率远高于随机写，并且定期重写SSTable可以去除磁盘碎片化。B-Tree则可能使磁盘空间部分空间无法使用（比如分裂页崩溃时导致的孤儿页）。
LSM相对于B-Tree拥有较小的写放大，B-Tree索引需要至少两次写入（一次WAL日志，一次写入树的页），每次更改有都要承受整个页的更改开销。而LSM以顺序方式写入文件，不必重写树中多个页。

拥有n个分支因子的B-Tree的深度为logn，一般是3-4层，分支因子为500的4kb的页可以存储数据256TB。

将数据库分解为固定大小的页（内部读写最小单元），一般是4kb。每个页使用地址/位置进行标识，可以让一个页引用另一个页，形成一个树状结构。（类似指针，但是指向的是磁盘地址，不是内存）页包含若干键和对子页的引用等内容
指定b树的一页为根，每当查询索引的一个键时候，从根节点开始
键的更新：搜索含此键的叶子页，更改页的值，将页回写到磁盘。
键的新增：类似于更新，如页空间满了，需要分裂成两个页，父页也需要进行更新
b树的增删改算法

键的新增需要更新父页时，数据库崩溃导致索引被破坏
- 增加WAL（write-ahead log）日志，只支持追加写。在数据库奔溃的时候先用日志恢复B-tree
- 使用写时复制，修改的页被写入不同的位置，树中的父页的新版本被创建，指向新的位置。（也能解决并发下多线程访问的问题）
节省页的空间，只保存键的缩略信息。B+树
为叶子页添加指向同级别的兄弟页，可以顺序扫描页不同跳回父页

关注