LevelDB源码阅读(1)

最新推荐文章于 2024-02-15 16:08:03 发布

happyredstar

最新推荐文章于 2024-02-15 16:08:03 发布

阅读量2.8k

点赞数

分类专栏：新数据库文章标签： PaaS 数据

本文链接：https://blog.csdn.net/fruitful_life/article/details/53966523

版权

5 篇文章 0 订阅

订阅专栏

LevelDB源码阅读(1)

时间就是杀猪刀，不抓紧学习不行呀。2017年新年第一天，我们就来学习一下LevelDB吧。之所以选它，是因为代码还不算多(1.19版本)：

...

51./util/testutil.cc

63./util/testutil.h

15805 total

[root@localhost src]#

我们先看看目录结构：

我们先看看最主要的DB类，其实就是一个接口，真正的实现实在DBImpl中。DB类定义的主要方法是：Open,Put, Delete, Write, Get, NewIterator, GetSnapshot, ReleaseSnapshot等。我们找一个Open来看看：

Status Open(const Options& options, conststring& dbname, DB** dbptr);

输入参数是打开的选项，数据库的名字以及要传出的数据库指针，而返回的是结果状态。我们来逐个分析一下这几个参数：

Options类主要成员：

#	Name	Description
1	Comparator	用于Key的比较，提供不同的key比较方法还是有必要的。它的主要实现方法就是Compare，比较两个Slice（带长度字符数组）
2	create_if_missing	例如这个标记就是说，如果数据库不存在时候怎么办，是创建一个新的还是报错。
3	… …	一些其他标记，在出问题的时候，确定怎么做的。
4	Env	封装了和环境的交互，环境就是运行时和外界的交互。一般和操作系统的交互，例如：文件操作目录操作线程操作时间操作等等，这些操作在不同的操作系统间可能是不同的。
5	Logger	写日志的
6	Cache	数据块的缓存，当然这个Cache可以存储任何的对象指针。
7	CompressionType	压缩类型
8	FilterPolicy	过滤文件用的过滤器，用于判断Key是否在一个文件中。未来可以有更高效的实现，例如布隆过滤器。

Status是封装了状态和描述，用于函数一次性返回错误代码以及相关的描述。居然Status也是使用一个字符数组来容纳code和msg的，难道是为了将来序列化方便？还是作者习惯了。

0-3	4	5-…
长度(uint32)	Code(难道代码只有256种？)	代码的描述字符串

接着我们看一下DB的实现类DBImpl的情况(关键信息)：

打开数据库Open：

写入一个KV（Put）：

很显然，所有的写都是通过批量方式写入到库中的（单一的KV也是放入Batch中然后再写），估计Batch是一个类似事务的概念，应该是确保一次性的写入吧，并且保证性能比较好。那我们看看WriteBatch是个什么容器：

#	Name	Description
1	Put()	放入一个KV
2	Delete()	删除一个KV
3	Clear()	清除所有的KV
4	string rep_	注意，这里就是所有的容器存储了。难道为了提高内存利用率？居然使用了紧缩的内存实现。所有的KV都按照一定的编码格式放入一个字符数组中了。这个数组的结构如下： { “sequence” : “int64”, “count” : “int32”, “records” : [ { “TypeKeyValue” : “int8”, “KeyLength” : “vint”, “KeyData” : “char[]”, “ValueLength” : “vint”, “ValueData” : “char[]” }, { “TypeDeletion” : “int8”, “KeyLength” : “vint”, “KeyData” : “char[]” }, ] } 注意，上述的vint，实际上是变长的数字，小于127的，占用1byte，大于127的，占用2byte（第一个字节的高位为1），一次类推。这样大部分都是小于127的key，就不用占用太多长度字节了。这么做的好处是，避免了大量的内存分配操作。而且紧密。缺点是引入了编解码的性能损耗。

这个WriteBatch的数据组装是由一个WriteBatchInternal类的静态方法来实现的，这样WriteBatch就不会混杂有具体的格式实现代码了。未来如果想修改一下数据组织格式，直接写一个WriteBatch就可以了。写入KV的整体流程如下：

查询一个KV（Get）：

今天先简单浏览一下整个工程，后面我们仔细的检查一下每一个具体的方面。

关注