LSM树学习

谷歌三大论文中文版之一：Bigtable：一个分布式的结构化数据存储系统
https://blog.csdn.net/shijinupc/article/details/7475575

LSM树存储模型

关于Mem Table、Immutable Mem Table和SSTable等概念见博客：
https://blog.csdn.net/qq910894904/article/details/38014127

LSM的基本思想是将修改的数据保存在内存，达到一定数量后再将修改的数据批量写入磁盘，在写入的过程中与之前已经存在的数据做合并。同B树存储模型一样，LSM存储模型也支持增、删、读、改以及顺序扫描操作。LSM模型利用批量写入解决了随机写入的问题，虽然牺牲了部分读的性能，但是大大提高了写的性能。

Mem Table
LSM本身由Mem Table、Immutable MemTable和SSTable等多个部分组成，其中Mem Table在内存，用于记录最近修改的数据，一般用跳跃表来组织，当Mem Table达到一定大小后，将其冻结起来变成Immutable MemTable，然后开辟一个新的MemTable用来记录新的记录。而Immutable MemTable则等待转存到磁盘。
Immutable MemTable
所谓Immutable MemTable，即是只能读不能写的内存表。
SSTable
BigTable数据在内部使用Google SSTable文件格式存储。SSTable提供一个从键（key）到值（value）的持久化的、已排序、不可更改的键值对映射（Map），这里的key和value的都是任意的字节（Byte）串。对SSTable提供了如下操作：查询与一个指定key值相关的value，或者遍历指定key值范围内的所有键值对。从内部看，SSTable是一连串的数据块（通常每个块的大小是64KB，但是这个大小是可以配置的）。SSTable使用块索引（通常存储在SSTable的最后）来定位数据块；在打开SSTable的时候，索引被加载到内存。一次查找可以通过一次磁盘搜索完成：首先执行二分查找在内存索引里找到合适数据块的位置，然后在从硬盘中读取合适的数据块。也可以选择把整个SSTable都映射到内存中，这样就可以在不用访问硬盘的情况下执行查询搜索了。
SSTable是指有序的键值对集合（a set of sorted key-value pairs）。是一个简单有用的集合，正如它的名字一样，它存储的是一系列的键值对。当文件较大的时候，还可以为其建立一个键值索引，指明每个键在SSTable文件中的偏移距离。这样可以加速在SSTable中查询。

使用MemTable和SSTable这两个组件，可以构建一个最简单的LSM存储模型。这个模型与Bitcask模型相比，不存在启动时间长的问题，但是这个模型的读性能非常的差，因为一但在MemTable找不到相应的键，则需要在根据SSTable文件生成的时间，从最近到较早在SSTable中寻找，如果都不存在的话，则会遍历完所有的SSTable文件。如果SSTable文件个数很多或者没有建立SSTable的文件内索引的话，读性能则会大大下降。
除了在对SSTable内部建立索引外，还可以使用Bloom Fileter,提高Key不在SSTable的判定速度。同样，定期合并旧的SSTable文件，在减少存储的空间的同时，也能提高读取的速度。下面这幅图很好的描述了在LSM的大部分结构和操作

LevelDB如何优化读性能
Leveldb是一个轻量级的，快速的以存储为目的的key-value存储引擎。其使用的正是LSM存储模型。我们可以看看LevelDB是如何来优化读性能的。在LevelDB中，存在一种元信息文件MANIFEST，用于记录leveldb的元信息，比如DB使用的Comparator名，以及各SSTable文件的管理信息：如Level层数、文件名、最小key和最大key等等。相比而言，元信息文件而SSTable文件的数目成正比，一般来说不会太多，是可以载入内存的，因此Level可以通过查询元信息，从而判断哪些文件中存在我们需要的Key对应的记录，减少SSTable文件读取次数。此外，LevelDB的合并操作Compaction是分层次进行的，每一层都有多个SSTable文件，每次合并后除了Level0和内存的MemTable，Immutable MemTable中会有重复的键值外，LevelN(N>=1)的各层内部的SSTable文件不会再有重复的键值。同时，如果在Level N 层读到了数据，那么就不需要再往后读Level N+1,Level N+2等层的数据了.因为Level N层的数据总是比Level N+1等层的数据更“新鲜”。