LevelDB之整体结构

最新推荐文章于 2023-04-02 23:14:44 发布
最新推荐文章于 2023-04-02 23:14:44 发布
阅读量524 收藏
点赞数
分类专栏： 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qccz123456/article/details/88844036
版权
LevelDB是一个基于LSM Tree的键值存储系统，其设计目标是简单和高性能。内存中的数据存储在MemTable，满后转为Immutable MemTable并写入硬盘成为SSTable。Log文件用于WAL日志，保证数据一致性。Manifest文件记录SST文件信息。读取时先查MemTable，然后查找SSTable。更新和删除通过追加新数据实现，避免磁盘随机写。
摘要由CSDN通过智能技术生成

数据库和存储引擎。数据库往往是一个比较丰富完整的系统, 提供了SQL查询语言，事务和水平扩展等支持。然而存储引擎则是小而精, 纯粹专注于单机的读/写/存储。一般来说, 数据库底层往往会使用某种存储引擎。

目前开源的KV存储引擎中，RocksDB是流行的一个，MongoDB和MySQL底层可以切换成RocksDB， TiDB底层直接使用了RocksDB。大多数分布式数据库的底层不约而同的都选择了RocksDB。

RocksDB最初是从LevelDB进化而来的，我们先从简单一点的LevelDB入手，借鉴它的设计思路。

1 LevelDB整体结构

有一个反直觉的事情是，内存随机写甚至比硬盘的顺序读还要慢，磁盘随机写就更慢了，说明我们要避免随机写，最好设计成顺序写。因此好的KV存储引擎，都在尽量避免更新操作，把更新和删除操作转化为顺序写操作。LevelDB采用了一种SSTable的数据结构来达到这个目的。

性能对比表

顺序读 顺序写 随机读 随机写
内存
Optane SSD
SSD
HDD

区别：硬盘，磁盘，nvme，SSD
（1&#x

最低0.47元/天 解锁文章
qccz123456
关注
专栏目录
LevelDb（二）：LevelDb整体架构
蓬莱道人的博客
05-22 6106
1. LevelDb组成 2. Log文件 3.MemTable和Immutable Memtable 4.SSTable文件 5.Manifest文件 6.Current文件 7. Others 7.1 Version 7.2VersionEdit 7.3VersionSet 7.4 Builder 7.5TableCache 1. LevelDb组成 LevelDb作为存储系统，数据记录的存储介质包括内存以及磁盘文...
深入 LevelDB 数据文件 SSTable 的结构
weixin_33724570的博客
02-19 401
LevelDB 的键值对内容都存储在扩展名为 sst 的 SSTable 文件中，SSTable 的磁盘文件结构比较复杂，读者在阅读本节之前要做好心理准备。如果有任何看得不明白的地方，一定要在下方的问答区及时提问。 SSTable 文件的内容分为 5 个部分，Footer、IndexBlock、MetaIndexBlock、FilterBlock 和 DataBlock。其中存储了键值对内容的就...
levelDB—整体架构介绍
庖丁解牛
12-05 3186
levelDB的整体架构见下图1。总体而言分内存和磁盘两部分。      1：memtable：内存中存放key-value的数据结构      2：Immutable memtable：是memtable的副本，一模一样，除了该table只不过是可读的，不能写入。      3：log：日志文件。      4：sstable manifest  current：磁盘中存放key-val
leveldb代码结构
chenglinhust的专栏
11-21 1241
leveld代码结构 源文件 $ tree -I "*test*" . ├── AUTHORS ├── build_detect_platform ├── db #具体逻辑 │ ├── builder.cc # 定义了BuildTable函数 │ ├── builder.h │ ├── c.cc # c封装，暂时不用看 │ ├── db_bench.cc
Leveldb学习——整体架构
baidu_15952103的博客
09-20 555
1.Leveldb基础介绍 概念： LevelDB是Google开源的持久化KV单机数据库，具有很高的随机写，顺序读/写性能，但是随机读的性能很一般，也就是说，LevelDB很适合应用在查询较少，而写很多的场景。 特点： 　　1.LevelDb是一个持久化存储的KV系统，和Redis这种内存型的KV系统不同，LevelDb不会像Redis一样狂吃内存，而是将大部分数据存储到磁盘上。 　　2.LevleDb在存储数据时，是根据记录的key值有序存储的，即相邻的key值在存储文件中是依次顺序存储的。用
LevelDB 整体结构
weixin_55519619的博客
03-20 346
文章目录设计思路与整体架构写流程读流程参考文献 设计思路与整体架构 LevelDB 是一种以 LSM-tree[1] 为底层数据结构的写优化的键值数据库。 在具体的实现中，LevelDB 主要包含 Memtable、WAL、分层的 SST 文件、用于版本控制的 Manifest 和 CURRENT 文件。 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-CrS5fFFK-1616231489920)(/home/syl/note/Images/Database/LevelDB/
LevelDB手册（LevelDB Handbook）.pdf
03-13
LevelDB是一种以写入性能见长的存储引擎，它采用了典型的LSM树（Log Structured-Merge Tree）的数据结构来实现，这是为了优化写入性能而特别设计的数据结构。LSM树放弃了部分读取性能来换取更快的写入能力，尤其适用...
LevelDB之LRUCaChe解析
weixin_37924880的博客
08-08 902
背景: 之前学过操作系统的都应该知道LRU Cache算法，即最近最少使用算法。算法的缘由是Cache的容量有限，不可能无限制的去存储数据，那么在容量用完又需要添加新的数据时，就需要在原cache当中选择一些数据清除掉，而我们选择的数据就是那些最近最少使用的数据(实际上在我看来，说是最久未使用算法更形象，因为该算法每次替换掉的就是一段时间内最久没有使用过的内容) 技术实现: LRU一般的实现...
LevelDB整体架构分析
chenglinhust的专栏
10-25 1817
LevelDB整体架构分析 1.   整体架构 2.   简要分析             具体参见：http://www.cnblogs.com/haippy/archive/2011/12/04/2276064.html
go-kvq:kvq 是一个 LevelDB 支持的事务队列
06-12
去-kvq kvq是建立在标准 K/V 数据库（即 LevelDB）之上的持久性、事务性、非分布式队列的实现。 值存储在底层数据库中，键是根据插入时间生成的（使用 ），依赖于 LevelDB 衍生产品提供的本机字节键排序。 可以在一个数据库中创建多个队列，但不能由不同的进程共享（但是，多个线程可以安全地共享一个队列。） 文档： 、 。 此代码不在生产环境中使用 - 小心行事！ 例子 package main import ( "time" "github.com/johnsto/go-kvq/kvq" ) func main() { // Open the on-disk database db, _ := kvq.Open("db.db") defer db.Close() // Get a named queue queue, _ := db.Queue("
一文彻底搞懂leveldb架构
神技圈子的博客
05-18 8873
leveldb leveldb是一个写性能十分优秀的存储引擎，是典型的LSM-tree的实现。LSM的核心思想是为了换取最大的写性能而放弃掉部分读性能。那么，为什么leveldb写性能高？简单来说它就是尽量减少随机写的次数。leveldb首先将数据更新到内存中。当内存中的数据量达到一定阈值，将这部分数据再真正刷新到磁盘文件中。一般来说，顺序写60MB/s，随机写45MB/s. 整体架构 leveldb主要由以下几个重要的部件构成： 1.memtable 2.immutable memtable 3.sst
leveldb学习笔记之二——源码目录结构
令狐一冲
03-15 781
说明 从今天开始，将正式进入leveldb源码的学习。leveldb主要采用c++实现，整体代码比较规范，除了学习存储相关的原理，还可以学习c++相关的知识，提升c++的技巧。 目录 leveldb的目录结构如下： cmake：cmake的相关文件； db：主要逻辑的实现，也将是我们重点分析的地方； doc：文档； helpers/memenv：简单完全内存的文件系统，提供操作目录文件接口； i...
LevelDB整体架构学习笔记
胜天半子
10-14 172
一、简介 LevelDB是一个可持久化的KV数据库引擎，由Google传奇工程师Jeff Dean和Sanjay Ghemawat开发并开源。 二、设计思路 众所周知，普通机械磁盘的顺序写性能远高于随机写，例如15000转的SAS盘，4000 IO写入，顺序写IOPS 为 200MB/s，而随机写性能只有 1MB/s，相差200倍。LevelDB的设计正是利用了磁盘的这个特性。 LevelDB的数据是存储在磁盘上的，采用 LSM-Tree 结构。LSM-Tree将磁盘的随机写转化为顺序写，从而大大提高了写速
LevelDB 入门 —— 全面了解 LevelDB 的功能特性
weixin_34221276的博客
01-03 941
本节我们将全面了解一下 LevelDB 的各种特性。LevelDB 的开发语言是 C++，考虑到会使用 C++ 语言的同学不是很多，在本节我们将使用 Java 语言来描述 LevelDB 的特性。其它语言栈的同学也不必担心，因为不同语言操纵 LevelDB 的接口 API 都是一样的，使用起来大同小异。 打开和关闭 LevelDB 的数据存储在一个特定的目录中，里面有很多数据文件、日志文件等。使...
MVCC及其在leveldb中的实现
最新发布
m0_63691156的博客
04-02 256
个人学习
levelDB学习记录
qq_42877551的博客
09-02 690
levelDB学习记录
LevelDB 源码剖析（一）准备工作：环境搭建、接口使用、常用优化
凌桓丶的博客
03-29 2348
LevelDB 源码剖析（一）：环境搭建、实战使用、常用优化
从JoinBatchGroup 代码细节 来看Rocksdb的相比于leveldb的写入优势
天行健，地势坤
04-10 1776
真是精心雕琢的引擎啊
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值