区块链levelDB基本介绍

近期因为在看区块链数据库,所以找了些levelDB的实现作为参考。levelDB的结构如图所示:

从图中可以看出,levelDB主要分成三层,上层是active memtable ,imutable memtable,这两个表是保存在内存中的。同时有一个log表,是所有写记录都要保存的表。下面部分是具体的物理实现,包括SST表。为什么称为levelDB,是因为在物理存储上分成了4层,加快了查找的速度。

存储系统在fabric中采用了levelDB,是google实现的高效的持久化kv数据库,并将大部分数据存储在磁盘上。levelDB存储数据时是根据记录的key值有序存储,相邻的key值在存储中是依次顺序存储的。用户可以自定义key比较大小函数,levelDB会依照用户定义的比较函数顺序存储这些记录。LevelDB支持数据快照,使读取操作不受写操作影响,可以在读操作中始终看到一致的数据。同时levelDB支持压缩操作,这对减少存储空间以及增加IO效率有直接帮助。LevelDB包含六部分:内存的MemTable和Immutable MemTable和磁盘上的Current文件,Manifest文件,log文件,SSTable文件。当应用写入一条Key:Value时,LevelDB先往log文件中写,成功后将记录插进Memtable中,这样基本完成写入操作,因为一次写入操作只涉及一次磁盘顺序写和一次内存写入,所以这是为何说levelDB写入速度极快的原因。先写入log是保证数据不会丢失。

下面详细介绍六个主要构成:

1、Log文件(磁盘)

作用:写Memtable前会先写Log文件,Log通过append的方式顺序写入。Log的存在使得机器宕机导致的内存数据丢失得以恢复。

2、 Memtable(内存)

作用:内存数据结构,跳表实现。新的数据会首先写入这里。

3、Immutable Memtable(内存)

作用:达到Memtable设置的容量上限后,Memtable会变为Immutable为之后向SST文件的归并做准备。Immutable Mumtable不再接受用户写入,同时生成新的Memtable、log文件供新数据写入。

4、SST文件(磁盘)

作用:磁盘数据存储文件。SSTable(Sorted String Table)就是由内存中的数据不断导出并进行Compaction操作后形成的,而且SSTable的所有文件是一种层级结构,第一层为Level 0,第二层为Level 1,依次类推,层级逐渐增高,这也是为何称之为LevelDb的原因。除此之外,Compact动作会将多个SSTable合并成少量的几个SSTable,以剔除无效数据,保证数据访问效率并降低磁盘占用。

5、Manifest文件(磁盘)

作用:Manifest文件中记录SST文件在不同Level的分布,单个SST文件的最大最小key,以及其他一些LevelDB需要的元信息。

6、Current文件(磁盘)

作用:从上面的介绍可以看出,LevelDB启动时的首要任务就是找到当前的Manifest,而Manifest可能有多个。Current文件简单的记录了当前Manifest的文件名,从而让这个过程变得非常简单。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值