leveldb为什么这么快

nosql数据库大多采用leveldb或者类似leveldb的存储引擎,我们来看看它为什么能够这么快。

levelDB则采用了一种全新的数据结构,叫做log structured merge tree(LSMT),写入数据时,一方面会把数据保存到内存,另一方面写入到日志,防止down机导致数据丢失。内存中的数据是排好序的,当内存中的数据达到一定阈值时,把内存中的数据保存到磁盘,并且把第一次写出的文件放到level 0。当level0的数据文件数量较多时,就对所有的level0和level1(初始为空)的数据进行一次归并排序并把结果放在level1。当level1的文件较多,每次合并level0和level1就会涉及大量的文件,因此会合并level1和level2的文件,结果放在level2,levelDB中,level n的数据量是level n-1的10倍。

进行写操作时,传统数据库使用索引,需要维护索引会产生较多的随机写。而leveldb则是写日志,把内存数据写出,归并文件,全部是顺序写,因此特别适合传统磁盘。

进行读操作室,传统数据库需要在索引中从根节点找到叶节点,产生较多的随机读。而leveldb则是从已经排好序的文件中读取数据,虽然需要读取每一层,因为层内的数据是排好序的,而层之间则没有排序关系。level 0特殊处理,该层中,每个文件内部排好序,不同文件没有序列关系,因此需要读取该层所有文件。那么一次读取就需要读取多个文件(一般是7-10个文件)才能够获取到数据。这时bloom filter派上了大用场,它为每条记录的key在内存中保持几个比特,通过这些数据,如果一个key不在文件中,leveldb能够快速判断出来。这样,虽然一次读取会变成多个读取,但这些读取因为bloom filter又缩减为接近一个磁盘读取。

上面的分析可以看出,传统数据库在存取数据时需要多个IO操作,而levelDB通过对数据进行排序,摆脱了对索引的依赖;通过顺序写,可以达到一个写保存多条数据的效果;通过bloom filter达到一次读只需一个IO操作的目标。



LevelDB 中,不可变 memtable(immutable memtable)的引入有以下几个原因: 1. 提高写入性能:LevelDB 使用了一种称为 Log-Structured Merge-Tree(LSM-Tree)的存储结构,其中包含了多个层级的数据文件。当写入操作发生时,数据首先会被写入 memtable,然后再根据一定的策略将 memtable 转化为不可变的 SST(Sorted String Table)文件。这样一来,写入操作就可以速完成,因为不需要进行磁盘上的随机写入操作。而不可变 memtable 的引入,则是为了将写入操作转化为创建新的数据结构,避免频繁的数据移动和复制,进一步提高写入性能。 2. 提高读取性能:不可变 memtable 的存在使得读取操作可以并发地进行,而不需要等待写入操作完成。因为在不可变 memtable 创建期间,旧的 memtable 仍然可以用于读取操作。这种方式有效地解耦了读取和写入操作,提高了系统的并发性能。 3. 简化持久化:LevelDB 使用了基于日志的持久化机制,即将写入操作以日志的形式追加到磁盘上的文件中。当 memtable 转化为不可变的 SST 文件后,可以将其直接持久化到磁盘上,而不需要对其进行额外的复制和移动操作。这样可以简化持久化过程,提高系统的效率和可靠性。 因此,不可变 memtable 在 LevelDB 中的引入是为了提高写入性能、并发读取操作以及简化持久化过程。它是 LevelDB 数据库引擎的重要组成部分,对于提高整体性能和效率非常关键。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值