LevelDB专栏文章索引

最新推荐文章于 2023-11-04 00:03:12 发布
最新推荐文章于 2023-11-04 00:03:12 发布
阅读量529 收藏
点赞数
分类专栏： NoSQL 文章标签： LevelDB 源码分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jinguangliu/article/details/85019908
版权

简介

读这篇文章的读者，基本上都是从事软件相关的工作。对一项软件相关技术的掌握程度，作者认为可以划分几个层次：

  1. 初级：对技术有基本对了解，能够熟练使用，解决实际工作中的问题；
  2. 中级：能够吃透技术的相关原理，分析源码实现，对设计和实现知其所以然；
  3. 高级：性能、功能对调优，充分发掘软件、硬件的潜力；
  4. 专家：能够做出微创新，运用老的经验解决新领域的问题。

本系列文章基本上按照这个思路进行组织，针对LevelDB数据库，会分别介绍C++教程、源码分析、性能调优，目前也有计划去写一下LevelDB升级版RocksDB系列文章。

本文为作者关于LevelDB的系列文章做的索引，方便阅读。

LevelDB C++教程

1. LevelDB: Linux下编译与安装

2. LevelDB: Linux系统中安装snappy

最低0.47元/天 解锁文章
LevelDB之整体结构
qccz123456的博客
03-27 540
数据库和存储引擎。数据库往往是一个比较丰富完整的系统, 提供了SQL查询语言，事务和水平扩展等支持。然而存储引擎则是小而精, 纯粹专注于单机的读/写/存储。一般来说, 数据库底层往往会使用某种存储引擎。 目前开源的KV存储引擎中，RocksDB是流行的一个，MongoDB和MySQL底层可以切换成RocksDB， TiDB底层直接使用了RocksDB。大多数分布式数据库的底层不约而同的都选择了Ro...
LSM树和Elasticsearch的索引写入机制
fishmai的专栏
09-10 1797
LSM树（Log Structured Merge Tree，结构化合并树）的思想非常朴素，就是将对数据的修改增量保持在内存中，达到指定的大小限制后将这些修改操作批量写入磁盘（由此提升了写性能），是一种基于硬盘的数据结构，与B-tree相比，能显著地减少硬盘磁盘臂的开销。是B树的持久化实现，不仅支持单条记录的增、删、读、改操作，还支持顺序扫描（B+树的叶子节点之间的指针），对应的存储系统就是关系数据库（Mysql等）。对比LSM，ES的这种segment分段写，再合并的机制，和LSM的思想是一致的。
level-map-index:为 leveldb 创建索引
07-03
级别地图索引 leveldb 的另一个索引解决方案。 改编自 。 API 不稳定，因为该模块是重构丑陋 ORM 的副产品。 跳转到： / / 例子 // create your database var sublevel = require ( 'level-sublevel' ) , level = require ( 'levelup' ) , db = sublevel ( level ( './data' ) , { valueEncoding : 'json' } ) // install require ( 'level-map-index' ) ( db ) // create indices db . index ( 'title' ) db . index ( [ 'author.name' , 'price' ] ) // a custom index
leveldb
心情扬的专栏
11-27 679
LevelDb有如下一些特点： 　　　　首先，LevelDb是一个持久化存储的KV系统，和Redis这种内存型的KV系统不同，LevelDb不会像Redis一样狂吃内存，而是将大部分数据存储到磁盘上。 　　　　其次，LevleDb在存储数据时，是根据记录的key值有序存储的，就是说相邻的key值在存储文件中是依次顺序存储的，而应用可以自定义key大小比较函数，LevleDb会按照用户定
lidx:基于LevelDB的全文索引器
06-22
利兹 基于 LevelDB 的 Unicode 兼容全文索引器。 要求 级别数据库 重症监护室图书馆 如何构建依赖 $ cd scripts $ ./prepare.sh 结果将在lidx/第三方中可用。 lidx的使用方法 lidx * indexer; int r; uint64_t * result; size_t result_count; // Opens the index. indexer = lidx_new(); lidx_open(indexer, "index.lidx"); // Adds data to the index. lidx_set(indexer, 0, "George Washington"); lidx_set(indexer, 1, "John Adams"); lidx_set(indexer, 2, "Thomas Jefferson")
LevelDb
青箫的博客
03-30 226
LevelDb的MemTable提供了将KV数据写入，删除以及读取KV记录的操作接口，但是事实上Memtable并不存在真正的删除操作,删除某个Key的Value在Memtable内是作为插入一条记录实施的，但是会打上一个Key的删除标记，真正的删除操作是Lazy的，会在以后的Compaction过程中去掉这个KV。需要注意的是，LevelDb的Memtable中KV对是根据Key大小有序存储的，在
关于LevelDB
lionzl的专栏
10-05 1059
1）关于max_open_files    LevelDB的默认打开文件数为1000，低于linux默认的1024最大文件打开数。    在完成插入记录做库时，前3亿条插入都非常快速，后面则非常龟速，如果你把默认打开文件调大到10000，则做库完数据（总共7亿数据）不可查，返回Corruption: partial record without end错误，全库作废，无法使用。(这个b
【存储专栏】连续型数据高效存储之道
Hyperchain的博客
09-29 733
【前言】 在《打破K/V存储的性能瓶颈》中，我们提到区块链中的数据可以分为「连续型数据」和「K/V型数据」，并对K/V型数据的特点及读写进行了阐述。我们以leveldb为例，了解到K/V数据在存储时采用LSM-Tree的组织形式，存储方式相对而言比较复杂，数据读写的复杂度也较高，且在数据量大的情况下会遇到性能下降的问题。针对这些问题，我们已经提出了一些优化思路，但这种数据格式读写的性能存在天然的缺陷。而优化思路里也提到，leveldb的归并操作是为了让SSL Table的key变得有序，说明有序的数据在读写
【存储专栏】打破K/V存储的性能瓶颈
Hyperchain的博客
09-26 280
【前言】 前文《区块链 ≠ 分布式存储》中，介绍了「区块链系统」和「传统分布式数据库」的异同，并认为“世界状态”的维护是区块链系统或区块链存储模块的核心关注点，而交易数据、账户及其相关数据、交易执行结果三者一同构成账户模型下区块链系统最基本的世界状态。 本文将从数据特点、性能表现、扩展性等方面出发，对区块链存储模块的数据库选型及定向优化进行介绍。 区块链存储模块需要关心的数据类型 【账本数据】 ▲ 什么是区块链账本? 通常情况下，区块链账本包含「账户数据」与「合约数据」。 用一个日常的例子来理解账本：在查
leveldb的搜索
weixin_30896763的博客
09-03 260
参考： http://taobaofed.org/blog/2017/07/05/leveldb-analysis/ 和leveldb源码（block.cc的Seek函数）。 leveldb的key、value是放在一起的，可以scan，但搜索不是全量搜索，而和搜索相关的是，bloom filter和restarts。 bloom filter bloom filter...
leveldb实现解析
04-07
leveldb实现解析 淘宝-核心系统研发-存储 那岩 neveray@gmail.com 2011-12-13 目录 一、 代码目录结构 ....................................................................... 1 1. doc/ ............................................................................ 1 2. include/leveldb/ ................................................................. 1 3. db/ ............................................................................. 1 4. table/........................................................................... 1 5. port/ ........................................................................... 1 6. util/ ........................................................................... 1 7. helper/memenv/ ................................................................... 1 二、 基本概念 .......................................................................... 1 1. Slice (include/leveldb/slice.h) .................................................. 1 2. Option （include/leveldb/option.h） .............................................. 2 3. Env （include/leveldb/env.h util/env_posix.h） .................................... 3 4. varint (util/coding.h) ........................................................... 3 5. ValueType （db/dbformat.h） ...................................................... 3 6. SequnceNnumber （db/dbformat.h） ................................................. 4 7. user key......................................................................... 4 8. ParsedInternalKey （db/dbformat.h） .............................................. 4 9. InternalKey (db/dbformat.h) ...................................................... 4 10. LookupKey (db/dbformat.h) ........................................................ 4 11. Comparator （include/leveldb/comparator.h util/comparator.cc） .................... 4 12. InternalKeyComparator (db/dbformat.h) ............................................ 5 13. WriteBatch （db/write_batch.cc） ................................................. 5 14. Memtable (db/memtable.cc db/skiplist.h) .......................................... 5 15. Sstable (table/table.cc) ......................................................... 5 16. FileMetaData （db/version_edit.h） ............................................... 5 17. block (table/block.cc) ........................................................... 6 18. BlockHandle(table/format.h) ...................................................... 6 19. FileNumber（db/dbformat.h） ...................................................... 6 20. filename (db/filename.cc) ........................................................ 6 21. level-n (db/version_set.h) ....................................................... 7 22. Compact (db/db_impl.cc db/version_set.cc) ........................................ 7 23. Compaction(db/version_set.cc) .................................................... 7 24. Version (db/version_set.cc) ...................................................... 8 25. VersionSet （db/version_set.cc） ................................................. 9 26. VersionEdit(db/version_edit.cc) ................................................. 10 27. VersionSet::Builder (db/version_set.cc) ......................................... 11 28. Manifest（descriptor）（db/version_set.cc）...................................... 12 29. TableBuilder/BlockBuilder(table/table_builder.cc table/block_builder.cc) ......... 12 30. Iterator (include/leveldb/iterator.h) ........................................... 12 三、 存储结构的格式定义与操作 .......................................................... 12 1. memtable (db/skiplist.h db/memtable) ............................................ 12 2. block of sstable (table/block_builder.cc table/block.cc) ......................... 14 3. sstable (table/table_bulder.cc/table.cc) ........................................ 16 4. block of log （db/log_format.h db/log_writer.cc db/log_reader.cc） .............. 18 5. log （db/log_format.h db/log_writer.cc db/log_reader.cc） ........................ 18 6. cache（util/cache.cc） .......................................................... 19 7. Snapshot （include/leveldb/snapshot.h） ......................................... 19 8. Iterator (include/leveldb/iterator.h) ........................................... 19 四、 主要流程 ......................................................................... 24 1. open ........................................................................... 24 2. put ............................................................................ 25 3. get ............................................................................ 25 4. delete.......................................................................... 26 5. snapshot........................................................................ 26 6. NewIterator ..................................................................... 26 7. compact......................................................................... 26 五、 总结 ............................................................................. 30 1. 设计/实现中的优化 ............................................................... 30 2. 可以做的优化 .................................................................... 31
leveldb 源码
11-15
googl开源文件数据库，使用key-value方式存储，可作为本地文件缓存。
levelDB学习
cquhehe的专栏
11-10 300
leveldb学习1.github链接 https://github.com/google/leveldb2.参考链接 Leveldb 实现原理 http://www.cnblogs.com/haippy/archive/2011/12/04/2276064.html 3.LevelDB原理探究与代码分析 http://blog.csdn.net/houzengjiang/article/d
高效检索 LevelDB：内存管理与缓存加速的最佳实践
最新发布
张彦峰的博客
11-04 3万+
学习LevelDB架构的检索技术：LevelDB的检索和存储设计提供了许多启发和优化方向，这些思想和技术可以在构建其他检索系统时考虑和借鉴，以提高性能、效率和可伸缩性。
leveldb -lsm
linuxheik的专栏
05-16 655
作者：知乎用户 链接：https://www.zhihu.com/question/19887265/answer/154516083 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 其实大家提的 LSM 最开始论文里面都使用树做搜索结构的, 现在在用的都不是严格的树结构了。如[这篇文章](https://www.igvita.com/2012/0
LevelDB源码解读——简介及数据结构
haha与长颈鹿的博客
10-19 1201
久闻LevelDB大名，由于课程需要，借助此次机会对levelDB源码的几个主要模块进行解读，同时加强对c++的理解。 LevelDB简介 LevelDB是一个google开源的持久型K-V数据存储引擎，是一个很好的c++学习源码。LevelDB的主要特点在于其写性能十分优秀（在牺牲了部分读性能的前提下），这也是LSM-Tree的主要特性之一。 LevelDB的安装这里不再叙述，详见LevelDB...
hbase上应用lucene创建索引及检索
SAN_YUN的专栏
12-28 213
    hbasene(https://github.com/akkumar/hbasene)是开源项目，在hbase存储上封装使用Lucene来创建索引，代码API非常简单，熟悉lucene的朋友可以很方便地创建。     以下为测试代码，完成读取一张hbase上记录url和用户id的表，对其创建索引并进行简单的基于url的索引的代码。当取到search的结果后，就可以拿到想要的数据了。由于分...
09-leveldb性能优化(三)
错位竞争，单点突破。
06-01 819
本文主要讲述如何设置WriteOptions参数、ReadOptions参数以及compact参数，来提升读写性能。
07-leveldb性能优化（一）
错位竞争，单点突破。
05-18 1362
1-Compaction：清除冗余数据，减少磁盘IO Compaction为什么能提升查询性能，我们从leveldb的原理说起。 如图所示，数据写入leveldb的过程如下： 数据写入Memtable Memtable达到一定大小后变为Immutable Memtable Immutable Memtable通过Minor Compaction写入0层SSTable 数据读取流程如下： 从Memtable中查询； 从Immutable Memtable中查询； 遍历level 0所有文件，若未查找到
leveldb的索引
08-18
LevelDB 是一种高性能的键值存储库，它的索引结构是基于跳表（Skip List）实现的。 在 LevelDB 中，数据以有序键值对的方式存储在 SSTable（Sorted String Table）文件中。为了支持高效的查找操作，LevelDB 使用了一个内存中的跳表索引来定位数据在 SSTable 文件中的位置。 跳表是一种有序链表的数据结构，它通过维护多级索引节点来加速查找。在 LevelDB 中，每个内部节点都包含一个键和一个指向下一级索引节点的指针。最底层的索引节点指向对应数据在 SSTable 文件中的偏移量，以便快速定位数据。 当进行查询操作时，LevelDB 会根据查询的键从顶层索引节点开始，逐级向下进行搜索，直到找到匹配的键或者无法继续下降到更低级别的索引节点为止。最终，根据找到的索引节点指向的偏移量，可以直接在 SSTable 文件中读取对应的数据。 由于跳表具有对数时间复杂度的查询特性，LevelDB 的索引结构能够提供高效的查询性能。同时，LevelDB 还通过使用内存表和后台合并等技术来优化索引的读写性能和空间利用率。 需要注意的是，LevelDB 的索引结构是基于内存的跳表实现，而实际数据则存储在磁盘上的 SSTable 文件中。这种设计可以在保证高性能的同时，节省内存空间。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值