LevelDB学习笔记

最新推荐文章于 2024-08-19 09:33:21 发布
最新推荐文章于 2024-08-19 09:33:21 发布
阅读量2.1k 收藏 2
点赞数
分类专栏： LevelDB学习笔记 文章标签： database bigtable LevelDB NoSQL google
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012432778/article/details/46492045
版权

What Is LevelDB

  • LevelDB is a fast key-value storage library written at Google that provides an ordered mapping from string keys to string values.

– A Fast And Lightweight KV Storage Library , Not A DataBase

  •  Reference

– http://code.google.com/p/leveldb/

– http://leveldb.googlecode.com/svn/trunk/doc/index.html

– http://leveldb.googlecode.com/svn/trunk/doc/impl.html

Three Tags

  • NoSQL Movement
– KV Store
  • Open Source
– New BSD License
  • Made In Google
– Authors
  •  also develop GFS\MapReduce\Bigtable\Protocol Buffers
  •  More Info
–http://research.google.com/people/jeff
–http://research.google.com/people/sanjay/

Birth for HTML5

  •  IndexedDB

  • – HTML 5 客户端存储Object storage
  • – History: Cookies -> Web storage -> SQL Database
  • – 已有执行标准之间妥协的产物
  • – More Info

Leveldb Vs BigTable

  • 关系和区别

Storage Category

  • Embedded Store
– DB: SQLite、BerkeleyDB、innondb
– KV: tokyo/kyoto cabinet、riak bitcask
  • Storage Server
– RDBMS
– NoSQL
  • tc&tt、kc&kt 、flare
  • bigtable、hbase、hypertable
  • mongodb、couchdb、orientdb
  • dynamo 、voldmort、cassandra
  • neo4j、flockdb

Code Dir.

  • util---------common cache、crc、hash
  • port--------multiple os support
  • include----c/ c++ api
  • table------- block sstable reader/writer
  • db ----------memtable、commit log、snapshot、compaction

LevelDB Architecture

  • Log Structured Merge Tree (LSM)
    1. 更新记Commit Log，写到in-memory table；
    2. Memory数据延迟落地到磁盘，不断打patch；
    3. 定期将磁盘数据sstable 在后台进行Compact.
– 充分考虑磁盘的特性，将随机IO写变为顺序IO，牺牲随机读来优化写

MEMTABLE

  • Dynamic Data Struct
– Order by (Key + Sequence)
– frozen + active
– Skiplist implemention
  • 写操作是insert到list,没有删除list node操作
  • 这种场景指针操作顺序保证单写多读线程安全

LOG

  • Commit Log File Format
– Fix length block Array
  • Pros
– 可以过滤出错记录，跳跃到正确的BLOCK
– Find next FULL or FIRST type record
  • Cons
– 不支持压缩存储，空间有少量浪费（trailer）

– 每个定长block包含一条或者多条日志记录

SSTABLE

  • Static Table File Format

COMPACTION

  • Multiple Level Compaction
– 此level 非彼level (skiplist)
– Input + Output
  • Level 0: 无序多路归并
  • Level n: 有序两路归并
– New数据从Level 0逐渐向Level N搬迁
– 每层的新数据总量达到10^i时触发
– 同一key的多次更新、部分删除被合并

Compaction Analogy
  • Compaction BG Task
    • 属于IO密集型任务对于正常的随机顺序读有较大影响
    • 触发条件选择、带宽占比、速度控制都至关重要

Multi-Level Data

  • Multi-level SSTable Data Layout
– Level 内部
  • Level 0 sst 内部有序， sst之间无序，key有重叠
  • Level N sst内部有序， sst之间有序，key无重叠
– Level 之间
  • 新旧数据，Patch关系

Write / Read

Write

  • 顺序/随机写
– 顺序记commit Log + 更新到active Memtable
– 顺序写场景的compaction进行IO优化
  • 纠结中权衡
– LevelDB将随机写转为顺序写，牺牲了随机读性 能的同时又利用策略控制写速率，甚至阻塞写 以防止随机读latency太差。

Random Read

  • 随机读
   – 从新到旧反向Read数据
  • 结合KV特点，短路式查询
  • Query Path: active_mem -> frozen_mem -> (last->first)        Level 0 sst -> Level i sst -> Level i+1 sst
  • 最坏情况下需要Level + 1 次随机IO
  • 查询在range范围内并不存在的key很杯具

Sequential Read

  • 顺序扫描
– 2 Memtables + 多Level归并
  • Level 0所有sstable，其他Level部分sstable归并
  • 大部分操作是对下层sstable数据的顺序扫描
  • 最坏情况下需要合并Memtable 和所有level的数据
  • Level 0 sstable越多，level层次越多，性能越差？

ACID 特性

  • 没有提供事务相关接口，需要上层封装
– 原子性（Atomic）
  • Write Ahead Log
  • commit log要么成功，要么失败成为bad record
– Consistency 一致性（）
  • Not Relational
– 隔离性（ Isolation ）
– 持久性（Durability）
  • 可配置的sync方式Not flush every write


  • 隔离性（Isolation） 

– 第三级隔离性可重复读
  • 先写log后更新Memtable未提交事务不会读到
  • 由sequence可以保证两次读Memtable一致性
  • 如何保证读写线程安全
– 写写线程：由log writer condition锁控制
– 读写静态数据无需同步
– 读写动态数据主要包括
» cache ：多线程安全
» memtable ：单线程写多线程读

Cache & Arena

  • Cache Sharding
– 按key做分片，分片数固定
– 每个分片是功能独立的cache (hashtable + LRU)
– 在分片内部加锁降低锁冲突
  • Memtable Arena
– 内存池，只负责分配一次性回收
– 定长block + 变长的block 链表
  • 如需新block而待分配内存超过block_size/4时，直接分配相应大小的block

Performance

  • Pros.
– 高性能的随机顺序写
– SSD性能优异，容易Scale Up
  • Cons.
– 随机读性能没有优势
– 读写比率和频率需适用
– 大Value性能较差

LeveDB Discuss

  • LevelDB 定位
– IndexedDB是客户端存储
  • 胖客户端是趋势
  • 不关心内存管理
– 只有Memtable 使用了Arena内存池
– 怀疑会有类似Redis内存碎片问题

– 互联网服务器应用是否适用
  • 用户对写性能并不敏感，对读操作延时相反
  • 而LSM牺牲了随机读的性能，但写盘方式适合SSD
  • SSD恰可弥补随机读性能问题

Optimize Discuss

  • 关于优化的讨论
– increase Memtable Size
  • 增加随机读命中memtable的概率
  • 减少level 0的文件数
– 提高Scan顺序扫描以及compaction的多路归并性能
  • 降低compaction频率，降低对读稳定性影响
– Log sync Strategy (Bad Record Skip)

– Multiple Disk Support When Compaction

– Add Bloom Filter as sstable size increase

– Less Level for speed up Read

参考：淘宝解伦
Mirants
关注
专栏目录
LevelDB使用例子
潜伏的猫
02-18 1373
LevelDB Level高效的kv数据，提供较高性能的本地存储(持久化)的功能。可为应用提供嵌入式的数据存储工作。
LevelDB 学习笔记2：合并
qq_45562973的博客
04-17 638
Python微信订餐小程序课程视频 https://blog.csdn.net/m0_56069948/article/details/122285951 Python实战量化交易理财系统 https://blog.csdn.net/m0_56069948/article/details/122285941 LevelDB 学习笔记2：合并 部分图片来自 RocksDB 文档 LevelDB 中会发生两种不同的合并行为，分别称为 minor compaction 和 major compaction Min
LevelDB使用指南
ZkvIA的博客
10-15 1万+
这篇文章是levelDB官方文档的译文，原文地址:LevelDB library documentation这篇文章主要讲leveldb接口使用和注意事项。 leveldb是一个持久型的key-value数据库。key,value可以是任意的字节数组，key之间是有序的。key的比较函数可以由用户指定。1. 打开数据库leveldb使用文件系统目录名作为name,并把数据库所有内容都存储在这个目录
LevelDB 使用指南
最新发布
威哥爱编程，CSDN 博客专家、全栈领域新星创作者、华为 HDE，愿交天下 IT 技术爱好者
08-19 452
LevelDB 是一个高性能的键值存储库，由 Google 开发。
leveldb代码阅读笔记（一）
qq_40586495的博客
08-28 963
LevelDB代码阅读笔记
levelDB学习
cquhehe的专栏
11-10 288
leveldb学习1.github链接 https://github.com/google/leveldb2.参考链接 Leveldb 实现原理 http://www.cnblogs.com/haippy/archive/2011/12/04/2276064.html 3.LevelDB原理探究与代码分析 http://blog.csdn.net/houzengjiang/article/d
LevelDB学习
每天学习一点点的博客
11-04 223
学习博客：https://blog.csdn.net/qq_26499321/article/details/78063856
LevelDB 学习笔记1：布隆过滤器.doc
07-09
LevelDB 学习笔记1：布隆过滤器 布隆过滤器（Bloom filter）是一种空间效率高的概率性数据结构，用于测试元素是否存在于集合中。LevelDB 中使用布隆过滤器来判断指定的 key 值是否存在于 sstable 中，从而减少调用 ...
LevelDB 学习笔记2：合并.doc
07-08
LevelDB 是一个由 Google 开发的轻量级、高性能、键值对存储系统，用于构建数据库和缓存。本文将详细解析 LevelDB 中的合并过程，包括 Minor Compaction 和 Major Compaction，这两种机制对于保证数据的一致性、优化...
Google leveldb学习笔记一：基本架构与安装使用
westbrookliu的博客
09-10 821
简介 LevelDB是一个Google编写的快速键值存储库，它提供从字符串键到字符串值的有序映射。 基本架构 LSM树存储引擎 先说什么是存储引擎： 存储引擎是存储系统的发动机，直接决定了存储系统能够提供的性能和功能 存储系统的基本功能包括：增删读改，读取操作又可以分为随机读取和顺序扫描 哈希存储引擎是哈希表的持久化表现，不支持顺序扫描，对应的存储系统为键值存储系统 B-Tree...
LevelDB手册（LevelDB Handbook）.pdf
03-13
LevelDB是一种以写入性能见长的存储引擎，它采用了典型的LSM树（Log Structured-Merge Tree）的数据结构来实现，这是为了优化写入性能而特别设计的数据结构。LSM树放弃了部分读取性能来换取更快的写入能力，尤其适用...
leveldb 学习。
weixin_30894583的博客
12-25 71
1）大概浏览了leveldb文档的介绍。本想逐步看代码，想想还是自己先实现一个看看如何改进。 2）完成了一个非常丑陋的初版，但是还是比初初版有进步。 3）key value的数据库，不允许有key重复，所以必须检测key。 　　1，插入检测key重复，太耗时间，不可能去检查数据文件。明显必须加入一个索引文件。形式key，offset。 　　2, key，offset的索引形式，数据到达5...
leveldb学习一
Think On Think
07-25 168
下了leveldb的源码，感觉十分给力，代码质量都非常高，非常值得学习。 首先把它用起来先，没什么好说的，直接上代码吧。 #include <leveldb/db.h> #include <string> #include <iostream> using namespace std; void PrintStatus(leveldb::St...
leveldb学习笔记之九——include/leveldb/cache.h
令狐一冲
03-28 300
cache创建了一个给定尺寸的缓存，该缓存使用最近最少使用的逐出原则。 源码如下： class LEVELDB_EXPORT Cache { public: Cache() = default; //设置默认构造函数 Cache(const Cache&) = delete; //禁止拷贝构造 Cache& operator=(const ...
LevelDb学习资料
iTer的专栏
05-27 1197
LevelDb学习资料标签（空格分隔）： db，k/v_db以下是leveldb的介绍资料 初识LevelDb 整体架构 log文件 SSTable文件 MemTable 写入与删除记录 如何根据Key读取记录? Compaction levelDb中的Cache levelDB tutorial LevelDB 网址：http://leveldb.org/ 基于levelDB做优化的RocksD
Leveldb学习——整体架构
baidu_15952103的博客
09-20 558
1.Leveldb基础介绍 概念： LevelDB是Google开源的持久化KV单机数据库，具有很高的随机写，顺序读/写性能，但是随机读的性能很一般，也就是说，LevelDB很适合应用在查询较少，而写很多的场景。 特点： 　　1.LevelDb是一个持久化存储的KV系统，和Redis这种内存型的KV系统不同，LevelDb不会像Redis一样狂吃内存，而是将大部分数据存储到磁盘上。 　　2.LevleDb在存储数据时，是根据记录的key值有序存储的，即相邻的key值在存储文件中是依次顺序存储的。用
学习LevelDB架构的检索技术
热门推荐
张彦峰的博客
11-04 3万+
学习LevelDB架构的检索技术：LevelDB的检索和存储设计提供了许多启发和优化方向，这些思想和技术可以在构建其他检索系统时考虑和借鉴，以提高性能、效率和可伸缩性。
leveldb学习：内存池Arena
tmshasha的专栏
08-21 1785
和SGI版的STL一样，leveldb内存分配也采用了memory pool的整理方式，减少内存不断分配释放过程中造成的空间零碎化和浪费。leveldb的内存池实现可参见arena.h和arena.cc，有关内存池的测试代码有arena_test.cc。arena内存池是leveldb的关键组件，是很多其他功能模块（class）的成员，在cache、memtable、table组件中均有使用。 先
leveldb学习：leveldb实现原理
guangyacyb的博客
03-04 1751
LevelDb日知录之一：LevelDb LevelDb由两位是Google公司重量级的工程师：Jeff Dean和Sanjay Ghemawa 发起。 Jeff Dean：Google大规模分布式平台Bigtable和MapReduce主要设计和实现者。 Sanjay Ghemawat：Google大规模分布式平台GFS，Bigtable和MapReduce主要设计和实现工程师。 这二...
LevelDB日志管理与异常处理：Redis连接超时解决方案
"LevelDB是Google开发的一个轻量级、高性能、单机版的Key-Value存储系统，常用于嵌入式场景或作为数据存储的底层组件。本文档主要涵盖了LevelDB的基本概念、读写操作、日志管理、内存数据库、SSTable文件结构、缓存...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值