RocksDB是啥
LSM 类存储引擎、数据库之一。所谓LSM,一般的名字叫 Log Structured-Merge Tree(日志结构合并树),来源于分布式数据库领域,也是BigTable 的论文中所使用的文件组织方式。它的特点在于写入的时候是append only的形式,就像名字所显示的那样,跟日志一样只在文件后面追加。
LSM 树结构的问题: 写入速度快,读取速度慢,写放大和读放大都较高。
Rocksdb本身支持单个kv的读写和批量kv值的读写。由于LSM的出身,它专注于利用LSM树的特性,适应有序、层次化的磁盘读写。在LSM树之上构建了Rocksdb,而在RocksDB之上同样有一些更面向应用层的数据库,包括分布式数据库、查询引擎、大数据存储引擎、图数据库如Janusgraph等。
一、RocksDB的读写层次和数据结构
rocksdb的数据写入结构如下:
在内存有memtable,
磁盘有WAL文件目录和SST文件目录。
memtable和SST文件
内存中的数据和SST文件组成了RocksDB数据的全集。
rocksdb中的数据结构有三种,分别是skiplist、hash-skiplist、hash-linklist;跟leveldb不同。跳表的好处在于插入的时候可以保证数据的有序,支持二分查找、范围查询。当然,删除的时候不是立即删除,因为会影响到数据的写放大,一般是在compact阶段进行真正的删除。
hash-skiplist的索引既有hash索引,又有skiplit的二分索引,针对于有明确key或教完整k