项目中需要调研leveldb 作为一个NOSQL代表 并且具有很强的写性能
本片文章主要通过leveldb的基础架构,文件存储,数据管理三个方面进行调研
简介
一个google实现的非常高效的kv数据库 ,版本1.2能够支持十亿级别的数据量了。 在这个数量级别下还有着非常高的性能,主要归功于它的良好的设计。特别是LSM算法。LevelDB 只是一个C++编程语言的库 不包含网络库
基础架构
架构图
leveldb 主要由以下组件组成:
- log: write-ahead logging是数据库的一种常见手段,数据按照 ->log->mem 的顺序更新,由于数据已经持久化到磁盘,因此即使进程异常也能够保证数据的完整性,同时这里是追加写,因此写性能极高。
- memtable: 最近写入的 key-value 数据,内存存储,读取数据首先从这里查找。
- immutable memtable: 为了限制内存大小,当 memtable 达到一定大小后,会转换为immutable memtable。后台线程会把immutable memtable 持久化到硬盘,持久化的文件称为 level-0 sstable,这个过程称为 minor compact.
- sstable: 由上层(or上上层)的 s