Google leveldb学习笔记一：基本架构与安装使用

最新推荐文章于 2023-08-10 22:41:48 发布
最新推荐文章于 2023-08-10 22:41:48 发布
阅读量813 收藏 1
点赞数
分类专栏： Database 分布式 C++
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/westbrookliu/article/details/82596147
版权
本文介绍了Google的LevelDB，一个键值存储库，采用LSM树作为存储引擎。LSM树通过批量写入磁盘避免随机写入问题。LevelDB的存储结构包括内存的MemTable、SSTable文件等。读取时，可能涉及多个磁盘文件的合并。文章还详细阐述了LevelDB的安装和测试过程。
摘要由CSDN通过智能技术生成

简介

LevelDB是一个Google编写的快速键值存储库，它提供从字符串键到字符串值的有序映射。

基本架构

LSM树存储引擎

先说什么是存储引擎：

  • 存储引擎是存储系统的发动机，直接决定了存储系统能够提供的性能和功能

  • 存储系统的基本功能包括：增删读改，读取操作又可以分为随机读取和顺序扫描

    1. 哈希存储引擎是哈希表的持久化表现，不支持顺序扫描，对应的存储系统为键值存储系统
    2. B-Tree存储引擎是B-Tree的持久化实现，支持顺序扫描，对应的存储系统为关系数据库
    3. LSM树存储引擎和B-Tree支持顺序扫描，它通过批量转储技术规避磁盘随机写入问题

LevelDB的LSM存储引擎

LSM树的想法很简单，就是将对数据的修改增量保持在内存中，达到能指定的大小限制后将这些修改操作批量写入磁盘，读取时需要合并磁盘中的历史数据和内存中最近的修改操作。LSM树有效的规避了磁盘随机写入的问题，丹读取时可能需要访问较多的磁盘文件

存储结构

这里写图片描述

  • 如图所示，LevelDB存储引擎主要包括：内存中的MemTable和不可变
最低0.47元/天 解锁文章
west_liu
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
分布式专题——详解Google levelDB底层原理
TechFlow的博客
03-28 673
本文始发于个人公众号：TechFlow，原创不易，求个关注 今天是分布式专题的第10篇文章，我们继续来聊聊LSMT这个数据结构。 LSMT是一个在分布式系统当中应用非常广泛，并且原理直观简单的数据结构。在上一篇文章当中我们进行了详细的讨论，有所遗忘或者是新关注的同学可以点击下方的链接回顾一下上一讲的内容。 分布式——吞吐量巨强、Hbase的承载者 LSMT leveldb简介 上一篇的内容我们介...
探索Google的LevelDB：一个轻量级的键值存储引擎
最新发布
gitblog_00015的博客
03-19 368
探索Google的LevelDB：一个轻量级的键值存储引擎 leveldbLevelDB is a fast key-value storage library written at Google that provides an ordered mapping from string keys to string values.项目地址:https://gitcode.com/gh_mirro...
Google-LevelDB简介
shenjian58的博客
10-02 215
LevelDB简介LevelDB一句话描述LevelDB是google开发的，一个速度非常块的KV存储库（storage library），它支持字符串的key与字符串的...
LevelDB设计与实现
热门推荐
Anders的专栏
01-06 1万+
转载自http://www.cnblogs.com/haippy/archive/2011/12/04/2276064.html PS: Google BigTable的设计已总所周知，但许多细节BigTable论文中并不详细，LevelDB可看作是Bigtable 中Tablet Server的开源版本，亦即可认为是一个K-V持久化引擎，此项目由BigTable设计者发起。 LevelDB
LevelDB
Likes的博客
11-09 128
https://blog.csdn.net/qq_26499321/article/details/78063856
学习笔记：The Log（我所读过的最好的一篇分布式技术文章）
浩然之气,兼容并蓄 http://blog.csdn.net/gsky1986
07-16 3511
这是一篇学习笔记。 学习的材料来自于我读过的最好的一篇分布式技术文章，没有之一。
Redis学习笔记（一）——NoSQL概述
weixin_41951205的博客
03-04 462
一、相关概念 RDBMS(Relational Database Management System)： 指的就是关系数据库管理系统 是指包括相互联系的逻辑组织和存取这些数据的一套程序 (数据库管理系统软件)。关系数据库管理系统就是管理关系数据库，并将数据逻辑组织的系统 NoSQL(Not Only SQL)： 泛指非关系型的数据库。 大数据时代的3V Velume（海量） Variety（多样） Velocity（实时） 互联网需求的3高 高并发 高可扩 高性能
《后端架构师技术图谱》
weixin_70730532的博客
06-15 780
（Toc generated by simple-php-github-toc ）《java队列——queue详细分析》《LinkedList、ConcurrentLinkedQueue、LinkedBlockingQueue对比分析》每个节点最多有两个叶子节点。左右两个子树的高度差的绝对值不超过1，并且左右两个子树都是一棵平衡二叉树。二叉查找树（Binary Search Tree），也称有序二叉树（ordered binary tree）,排序二叉树（sorted binary tree）。MySQL是
《数据密集型应用系统设计》读书笔记——第一部分 数据系统基础
Ronnie147
01-17 3757
第一部分 数据系统基础 第1章 可靠、可扩展与可维护的应用系统 当今许多新型应用都属于数据密集型，而不是计算密集型。对于这些类型应用，CPU的处理能力往往不是第一限制性因素，关键在于数据量、数据的复杂度以及数据的快速和多变性。 数据密集型应用系统设计也是基于标准模块构建而成的，通常包含以下模块： 数据库：用以存储数据，之后应用可以再次访问 高速缓存：缓存那些复杂或操作代价高昂的结果，以加快下一次访问 索引：用户可以按关键字搜索数据并支持各种过滤 流式处理：持续发送消息至另外一个进程，处理通常采用异步方式
[leveldb] 1-leveldb概述
ingy
08-17 444
google的leveldb是久闻大名的数据存储库，可以说是开源爱好者的必推项目了，最近准备在自己的程序中使用一下leveldb，并读源码，因此想记录一下学习的过程。 leveldb的安装，请参考：http://blog.csdn.net/koko2015c/article/details/68066761，其实也就是make一下然后拷贝动态链接库常规的操作，不过最新的leveldb版本好像已经...
LevelDB简介
西京刀客
02-08 2174
LevelDB一、LevelDB1. 什么是LevelDBLevelDb 的特点LSM 基本原理2. 既生 Redis 何生 LevelDB ？二、参考 一、LevelDB 1. 什么是LevelDB LevelDB是Google传奇工程师Jeff Dean和Sanjay Ghemawat开源的KV存储引擎。 Jeff Dean：Google大规模分布式平台Bigtable和MapReduce主要设计和实现者。 Sanjay Ghemawat：Google大规模分布式平台GFS，Bigtable和MapRe
LevelDB库简介
weixin_34183910的博客
10-15 2524
LevelDB库简介     一、LevelDB入门 LevelDB是Google开源的持久化KV单机数据库，具有很高的随机写，顺序读/写性能，但是随机读的性能很一般，也就是说，LevelDB很适合应用在查询较少，而写很多的场景。LevelDB应用了LSM (Log Structured Merge) 策略，lsm_tree对索引变更进行延迟及批量处理，并通过一种类似于归并排序的方式高...
作个笔记：Google正式开源LevelDB项目
多多米开发
07-30 526
Google 宣布 LevelDB 项目开源，使用的开源授权协议为BSD。 Leveldb是一个google实现的非常高效的kv数据库，目前的版本1.2能够支持billion级别的数据量了。 在这个数量级别下还有着非常高的性能，主要归功于它的良好的设计。特别是LSM算法
LevelDB-总体介绍
feng_jiakai的博客
01-27 1270
2022年1月开始看一下LevelDB开源代码 先看一下LevelDB中的几大组建 图片来源 LevelDB数据库中，在进行操作过程中，先往memtable中进行写入，当memtable没有空间时，将memtable写入immutable，然后memtable申请新的内存空间，单独有一个后台线程将imutable进行落盘成sstable。所有磁盘数据sstable以层的形式进行存储，有level0、level1、…、leveln。 level0中存储最新的数据。 疑问：
leveldb源码--PosixEnv代码分享
sunqk13022的专栏
11-22 386
主要是就是对pthread_mutex_lock的使用。列出主要代码： 添加一个任务的代码如下： PthreadCall("lock", pthread_mutex_lock(&mu_)); if (queue_.empty()) {     PthreadCall("signal", pthread_cond_signal(&bgsignal_));  }  queue_.p
levelDB,rocksDB,tikv优缺点
wade1010的专栏
08-10 573
LevelDB是Google开源的一个高性能键值存储引擎，具有以下优点和缺点：优点：缺点：RocksDB是一种高性能的嵌入式键值存储引擎，具有以下优点和缺点：优点：缺点：TiKV是一个分布式事务键值存储引擎，具有以下优点和缺点：
leveldb安装
StudyWinter的博客
08-06 1709
LevelDB是一个在Google编写的快速键值存储库，它提供了从字符串键到字符串值的有序映射。leveldb 库提供了一个持久的键值存储。键和值是任意字节数组。键在键值存储中根据用户指定的比较器功能进行排序。各方查资料才知道可能是缺少googletest和benchmark，一看，果然是。最近打算学习leveldb的源码，安装leveldb时遇到问题，记录一下。于是乎，去github的源码是看了眼，源码下是有文件的。法二：分别下载源码，将这两部分内容解压到对应的目录下。使用的代码调不出来。........
LevelDB使用入门
ZkvIA的博客
10-03 1万+
1，下载levelDB源码 git clone https://github.com/google/leveldb.git 2，编译LevelDB cd leveldb & make all 编译完成之后在当前目录多了两个目录：out-shared和out-static 在out-static目录下有我们需要的libleveldb.a 3,在当前目录新建文件夹test
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值