LevelDB专栏文章索引

最新推荐文章于 2022-06-01 22:13:18 发布
最新推荐文章于 2022-06-01 22:13:18 发布
阅读量506 收藏
点赞数
分类专栏： NoSQL 文章标签： LevelDB 源码分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jinguangliu/article/details/85019908
版权

简介

读这篇文章的读者，基本上都是从事软件相关的工作。对一项软件相关技术的掌握程度，作者认为可以划分几个层次：

  1. 初级：对技术有基本对了解，能够熟练使用，解决实际工作中的问题；
  2. 中级：能够吃透技术的相关原理，分析源码实现，对设计和实现知其所以然；
  3. 高级：性能、功能对调优，充分发掘软件、硬件的潜力；
  4. 专家：能够做出微创新，运用老的经验解决新领域的问题。

本系列文章基本上按照这个思路进行组织，针对LevelDB数据库，会分别介绍C++教程、源码分析、性能调优，目前也有计划去写一下LevelDB升级版RocksDB系列文章。

本文为作者关于LevelDB的系列文章做的索引，方便阅读。

LevelDB C++教程

1. LevelDB: Linux下编译与安装

2. LevelDB: Linux系统中安装snappy

最低0.47元/天 解锁文章
Bob Liu
关注
专栏目录
LevelDB之整体结构
qccz123456的博客
03-27 522
数据库和存储引擎。数据库往往是一个比较丰富完整的系统, 提供了SQL查询语言，事务和水平扩展等支持。然而存储引擎则是小而精, 纯粹专注于单机的读/写/存储。一般来说, 数据库底层往往会使用某种存储引擎。 目前开源的KV存储引擎中，RocksDB是流行的一个，MongoDB和MySQL底层可以切换成RocksDB， TiDB底层直接使用了RocksDB。大多数分布式数据库的底层不约而同的都选择了Ro...
level-map-index:为 leveldb 创建索引
07-03
级别地图索引 leveldb 的另一个索引解决方案。 改编自 。 API 不稳定，因为该模块是重构丑陋 ORM 的副产品。 跳转到： / / 例子 // create your database var sublevel = require ( 'level-sublevel' ) , level = require ( 'levelup' ) , db = sublevel ( level ( './data' ) , { valueEncoding : 'json' } ) // install require ( 'level-map-index' ) ( db ) // create indices db . index ( 'title' ) db . index ( [ 'author.name' , 'price' ] ) // a custom index
leveldb
心情扬的专栏
11-27 663
LevelDb有如下一些特点： 　　　　首先，LevelDb是一个持久化存储的KV系统，和Redis这种内存型的KV系统不同，LevelDb不会像Redis一样狂吃内存，而是将大部分数据存储到磁盘上。 　　　　其次，LevleDb在存储数据时，是根据记录的key值有序存储的，就是说相邻的key值在存储文件中是依次顺序存储的，而应用可以自定义key大小比较函数，LevleDb会按照用户定
lidx:基于LevelDB的全文索引器
06-22
利兹 基于 LevelDB 的 Unicode 兼容全文索引器。 要求 级别数据库 重症监护室图书馆 如何构建依赖 $ cd scripts $ ./prepare.sh 结果将在lidx/第三方中可用。 lidx的使用方法 lidx * indexer; int r; uint64_t * result; size_t result_count; // Opens the index. indexer = lidx_new(); lidx_open(indexer, "index.lidx"); // Adds data to the index. lidx_set(indexer, 0, "George Washington"); lidx_set(indexer, 1, "John Adams"); lidx_set(indexer, 2, "Thomas Jefferson")
LevelDb
青箫的博客
03-30 215
LevelDb的MemTable提供了将KV数据写入，删除以及读取KV记录的操作接口，但是事实上Memtable并不存在真正的删除操作,删除某个Key的Value在Memtable内是作为插入一条记录实施的，但是会打上一个Key的删除标记，真正的删除操作是Lazy的，会在以后的Compaction过程中去掉这个KV。需要注意的是，LevelDb的Memtable中KV对是根据Key大小有序存储的，在
关于LevelDB
lionzl的专栏
10-05 1043
1）关于max_open_files    LevelDB的默认打开文件数为1000，低于linux默认的1024最大文件打开数。    在完成插入记录做库时，前3亿条插入都非常快速，后面则非常龟速，如果你把默认打开文件调大到10000，则做库完数据（总共7亿数据）不可查，返回Corruption: partial record without end错误，全库作废，无法使用。(这个b
【存储专栏】连续型数据高效存储之道
Hyperchain的博客
09-29 712
【前言】 在《打破K/V存储的性能瓶颈》中，我们提到区块链中的数据可以分为「连续型数据」和「K/V型数据」，并对K/V型数据的特点及读写进行了阐述。我们以leveldb为例，了解到K/V数据在存储时采用LSM-Tree的组织形式，存储方式相对而言比较复杂，数据读写的复杂度也较高，且在数据量大的情况下会遇到性能下降的问题。针对这些问题，我们已经提出了一些优化思路，但这种数据格式读写的性能存在天然的缺陷。而优化思路里也提到，leveldb的归并操作是为了让SSL Table的key变得有序，说明有序的数据在读写
【存储专栏】打破K/V存储的性能瓶颈
Hyperchain的博客
09-26 271
【前言】 前文《区块链 ≠ 分布式存储》中，介绍了「区块链系统」和「传统分布式数据库」的异同，并认为“世界状态”的维护是区块链系统或区块链存储模块的核心关注点，而交易数据、账户及其相关数据、交易执行结果三者一同构成账户模型下区块链系统最基本的世界状态。 本文将从数据特点、性能表现、扩展性等方面出发，对区块链存储模块的数据库选型及定向优化进行介绍。 区块链存储模块需要关心的数据类型 【账本数据】 ▲ 什么是区块链账本? 通常情况下，区块链账本包含「账户数据」与「合约数据」。 用一个日常的例子来理解账本：在查
要看就看最好，16万字全网最硬核redis总结，谁赞成，谁反对？（被粉丝疯狂催更，已有人反馈看完专栏拿到大厂offer！！！）
热门推荐
Java框架、并发编程、分布式、微服务、Redis、HarmonyOS、中间件等技术
10-10 1万+
被粉丝疯狂催更，已有人反馈看完专栏拿到大厂offer，非常适合应届毕业生和初中级工程师！！！
leveldb实现解析
04-07
leveldb实现解析 淘宝-核心系统研发-存储 那岩 neveray@gmail.com 2011-12-13 目录 一、 代码目录结构 ....................................................................... 1 1. doc/ ............................................................................ 1 2. include/leveldb/ ................................................................. 1 3. db/ ............................................................................. 1 4. table/........................................................................... 1 5. port/ ........................................................................... 1 6. util/ ........................................................................... 1 7. helper/memenv/ ................................................................... 1 二、 基本概念 .......................................................................... 1 1. Slice (include/leveldb/slice.h) .................................................. 1 2. Option （include/leveldb/option.h） .............................................. 2 3. Env （include/leveldb/env.h util/env_posix.h） .................................... 3 4. varint (util/coding.h) ........................................................... 3 5. ValueType （db/dbformat.h） ...................................................... 3 6. SequnceNnumber （db/dbformat.h） ................................................. 4 7. user key......................................................................... 4 8. ParsedInternalKey （db/dbformat.h） .............................................. 4 9. InternalKey (db/dbformat.h) ...................................................... 4 10. LookupKey (db/dbformat.h) ........................................................ 4 11. Comparator （include/leveldb/comparator.h util/comparator.cc） .................... 4 12. InternalKeyComparator (db/dbformat.h) ............................................ 5 13. WriteBatch （db/write_batch.cc） ................................................. 5 14. Memtable (db/memtable.cc db/skiplist.h) .......................................... 5 15. Sstable (table/table.cc) ......................................................... 5 16. FileMetaData （db/version_edit.h） ............................................... 5 17. block (table/block.cc) ........................................................... 6 18. BlockHandle(table/format.h) ...................................................... 6 19. FileNumber（db/dbformat.h） ...................................................... 6 20. filename (db/filename.cc) ........................................................ 6 21. level-n (db/version_set.h) ....................................................... 7 22. Compact (db/db_impl.cc db/version_set.cc) ........................................ 7 23. Compaction(db/version_set.cc) .................................................... 7 24. Version (db/version_set.cc) ...................................................... 8 25. VersionSet （db/version_set.cc） ................................................. 9 26. VersionEdit(db/version_edit.cc) ................................................. 10 27. VersionSet::Builder (db/version_set.cc) ......................................... 11 28. Manifest（descriptor）（db/version_set.cc）...................................... 12 29. TableBuilder/BlockBuilder(table/table_builder.cc table/block_builder.cc) ......... 12 30. Iterator (include/leveldb/iterator.h) ........................................... 12 三、 存储结构的格式定义与操作 .......................................................... 12 1. memtable (db/skiplist.h db/memtable) ............................................ 12 2. block of sstable (table/block_builder.cc table/block.cc) ......................... 14 3. sstable (table/table_bulder.cc/table.cc) ........................................ 16 4. block of log （db/log_format.h db/log_writer.cc db/log_reader.cc） .............. 18 5. log （db/log_format.h db/log_writer.cc db/log_reader.cc） ........................ 18 6. cache（util/cache.cc） .......................................................... 19 7. Snapshot （include/leveldb/snapshot.h） ......................................... 19 8. Iterator (include/leveldb/iterator.h) ........................................... 19 四、 主要流程 ......................................................................... 24 1. open ........................................................................... 24 2. put ............................................................................ 25 3. get ............................................................................ 25 4. delete.......................................................................... 26 5. snapshot........................................................................ 26 6. NewIterator ..................................................................... 26 7. compact......................................................................... 26 五、 总结 ............................................................................. 30 1. 设计/实现中的优化 ............................................................... 30 2. 可以做的优化 .................................................................... 31
leveldb 源码
11-15
googl开源文件数据库，使用key-value方式存储，可作为本地文件缓存。
leveldb的搜索
weixin_30896763的博客
09-03 250
参考： http://taobaofed.org/blog/2017/07/05/leveldb-analysis/ 和leveldb源码（block.cc的Seek函数）。 leveldb的key、value是放在一起的，可以scan，但搜索不是全量搜索，而和搜索相关的是，bloom filter和restarts。 bloom filter bloom filter...
levelDB学习
cquhehe的专栏
11-10 288
leveldb学习1.github链接 https://github.com/google/leveldb2.参考链接 Leveldb 实现原理 http://www.cnblogs.com/haippy/archive/2011/12/04/2276064.html 3.LevelDB原理探究与代码分析 http://blog.csdn.net/houzengjiang/article/d
leveldb -lsm
linuxheik的专栏
05-16 646
作者：知乎用户 链接：https://www.zhihu.com/question/19887265/answer/154516083 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 其实大家提的 LSM 最开始论文里面都使用树做搜索结构的, 现在在用的都不是严格的树结构了。如[这篇文章](https://www.igvita.com/2012/0
LevelDB源码解读——简介及数据结构
haha与长颈鹿的博客
10-19 1164
久闻LevelDB大名，由于课程需要，借助此次机会对levelDB源码的几个主要模块进行解读，同时加强对c++的理解。 LevelDB简介 LevelDB是一个google开源的持久型K-V数据存储引擎，是一个很好的c++学习源码。LevelDB的主要特点在于其写性能十分优秀（在牺牲了部分读性能的前提下），这也是LSM-Tree的主要特性之一。 LevelDB的安装这里不再叙述，详见LevelDB...
hbase上应用lucene创建索引及检索
SAN_YUN的专栏
12-28 206
    hbasene(https://github.com/akkumar/hbasene)是开源项目，在hbase存储上封装使用Lucene来创建索引，代码API非常简单，熟悉lucene的朋友可以很方便地创建。     以下为测试代码，完成读取一张hbase上记录url和用户id的表，对其创建索引并进行简单的基于url的索引的代码。当取到search的结果后，就可以拿到想要的数据了。由于分...
LevelDB C++教程: 如何打开和关闭数据库
Bob Liu的程序人生
12-13 1885
简介 leveldb提供持久键值存储功能。键和值是任意字节数组。根据用户指定的比较函数，在键值存储区内对键进行排序。 本文将介绍leveldb的打开和关闭数据的基本操作，为后面的键值存储操作做准备。 代码示例 下面的代码功能实现了完整的打开和关闭数据库的功能，下面会对代码来进行逐一讲解： #include <iostream> #include <cassert> #inc...
09-leveldb性能优化(三)
错位竞争，单点突破。
06-01 782
本文主要讲述如何设置WriteOptions参数、ReadOptions参数以及compact参数，来提升读写性能。
leveldb的索引
最新发布
08-18
LevelDB 是一种高性能的键值存储库，它的索引结构是基于跳表（Skip List）实现的。 在 LevelDB 中，数据以有序键值对的方式存储在 SSTable（Sorted String Table）文件中。为了支持高效的查找操作，LevelDB 使用了...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值