lighting mdb(lmdb) 是一个高性能mmap kv数据库,基本介绍和文档参见symas官网,本文将尝试分析其源代码结构以理解数据库设计的关键技术。
本系列文章将尝试从以下几个方面进行分析。
- 系统架构(本文)
- MMAP映射(系列2)
- B+Tree操作(系列3)
- 事务管理(系列4)
- MVCC控制(系列5)
等几个方面进行分析。
lmdb是为了改进OPENLADP工程的数据缓存后端数据库(bdb)的一系列设计问题,比如多重缓存设计、锁控制、空间膨胀的问题而研发的一款数据库。
其具备管理简单、开发简单等特点。管理简单是因为其设计中去掉了数据库级缓存,开发简单是兼容bdb开发接口,无需担心数据损坏、空间膨胀、死锁等
问题。
其系统基本架构为:
设计上使用了mmap和COW技术,因此整体架构比较简单,没有其他数据库的缓存管理、日志管理、外存管理等组件。
mmap文件映射是基础,lmdb通过只读文件映射(默认)避免了因为应用程序bug导致数据库被破坏的情形。其上的
一些基础结构比如Locktables,MVCC,COW等都是实现事务控制的基础,通过这些理论基础,lmdb实现了完整的
ACI属性,D通过mmap实现。最后,系统对外提供了关于B+Tree的操作方式,利用cursor游标进行。可以进行增删改查。
B+Tree的所有变动方式与其他的实现类似,不过lmdb的实现基础是append only B+Tree,后续系列将详细解释lmdb里面的
B+Tree实现方式。
主要的系统数据结构有:
1. MDB_ENV
2. mdb_envinfo
首先关键的是env对象,environment对象代表了一个实际的物理存储文件。lmdb采取的存储方式是直接B+Tree存储,索引和值都存储在B+Tree的
页面上,对于值特别大的对象通过overflow页面解决。而非像其他存储方式,索引与数据分离。但是lmdb存储支持在同一个物理文件中存储多个B+Tree,
以及可以将某个B+Tree作为另一个B+Tree的叶子节点,即其提到的sub-database概念。这对于某些特定的应用比较有效,比如简单的层次对应数据结构的
管理和查询。
env对象中重要数据成员有:
me_dirty-list:脏页列表,是写事务已经修改过的但没有提交到物理文件中的所有页面列表。
me_free_pgs: 可用页面,可用页面用于控制MVCC导致的文件大小膨胀,可用页面是指已经没有事务使用但是已经被修改,根据MVCC原理,其已经是旧版本的页面。
对于需要查阅历史数据的数据库来说,比如说需要恢复到任意时刻的要求,所有的旧版本应该被保存,而对于只需要保持最新一致数据的数据库系统比如lmdb来说,这些
页面是可以重用的,页面重用就可以有效避免物理文件的无限增大。free_pgs为当前写事务导致的可重用页面列表。
me_metas: 元数据列表,lmdb使用两个页面作为meta页面,因此其大小为2. meta页面的一个主要作用是用于保存B+Tree的root_page指针。其内部采用COW技术,root
page指针可能会被修改,因此使用两个不同的页面进行切换保存最新页面,类似于double-buffer设计。由此可知,虽然lmdb支持一个文件中多个B+Tree,由于meta页面的
限制,其个数是有限的。
me_rmutext,me_wmutex: 锁表互斥所,lmdb可以支持多线程、多进程。多进程之间的同步访问通过系统级的互斥来达到。其mutex本身存在于系统的共享内存当中而非进程本身的内存,因此
在进行读写页面时,首先访问锁表看看对应的资源是否有别的进程、线程在进行,有的话需要根据事务规则要求进行排队等待。详细的锁使用见后文解释。
me_txn,me_txns: 目前环境中使用的事务列表,一个env对象归属于一个进程,一个进程可能有多个线程使用同一个env,每个线程可以开启一个事务,因此在一个进程级的env对象需要维护txn列表
以了解目前多少个线程及事务在进行工作。
me_flags: 标志,标志控制的数据库的许多行为,每次使用env之前必须设置,应用程序应该用一致的方式使用flags,否则数据库可能会出现不可预知的错误。
me_dbxs: 数据库对象
me_userctx: 用户数据,用户上下文数据,主要用于进行key比较时进行辅助。
envinfo对象中成员比较直白,不多啰嗦。
3. mdb_meta
meta页的更新由事务id决定,读事务不更新元数据页,写数据可能更新。
meta页面循环使用,即id为1,修改页面1,id为2,修改页面0.
其最重要的数据成员就是
mm_dbs: 数据库B+Tree根,同时保存两个,0为目前使用的可替代的root page指针,1为当前使用的主数据库。
mm_version: 当前lock文件的version,是实现MVCC的重要成员,必须设置为MDB_DATA_VERSION.
4. MDB_PAGE
page描述了不同页面的头。不管是树中的root、还是branch、leaf页面,都是用它描述。
对于overflow页面来说,只有第一页使用头进行描述,其后的连续页面不使用,仅仅使用指针
将页面关联起来。
重要成员:
mp_flags: 代表是什么类型的页面
mp_pb: overflow页数或者当前页的可用空间
5.MDB_NODE
node代表key/value对的描述,是对branch、leaf页中的数据的描述
重要成员包括:
mn_flags: 标志:是否重复、子数据库、overflow等
mn_hi.lo: 数据大小或者页码
mn_data:数据指针
6. MDB_DB
mdb_db描述了一颗单独的b+tree数,主要包含了一些相关的信息和根节点页码
7. MDB_TXN
mdb_txn描述了事务的数据结构,mdb中的事务支持嵌套事务。支持完全ACID属性,
但是只支持serializable事务隔离级别,通过同一个env对应的数据库只允许一个事务写来控制。
事务的操作方式与其他数据库类似,嵌套事务必须匹配。
其重要的成员包括:
mt_child,parent:事务嵌套父子关系
mt_next_pgno: 未分配的页面id
mt_cursor: 写事务中每个数据库中已经打开的游标。
8. MDB_Cursor
游标对象是进行所有数据库操作的对象,读写都是基于游标进行。进行读写操作时,首先需要根据条件
确定页面位置,从而获得一个游标,应用程序根据游标对象操作数据库。
其重要成员有:
mc_next: 同一个事务中关于同一个db的游标组成一个列表。next指向下一个游标
mc_top: 最上层页面id
mc_xcursor: 用于key可重复b+tree。
mc_pg: cursor打开的页面组成一个堆栈,最多32个,具体作用还有待探查。
mc_ki: 所有打开页面的索引
本文简单讲述了lmdb的整体架构以及重要的数据成员。本系列下次介绍MMAP原理以及
其在lmdb中的使用方式
转载于:https://blog.51cto.com/gridmix/1693699