LSM树的基本原理－学习笔记

最新推荐文章于 2024-06-19 14:37:03 发布
最新推荐文章于 2024-06-19 14:37:03 发布
阅读量1.3k 收藏 2
点赞数
分类专栏： 数据结构
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dream0130__/article/details/104543223
版权
本文介绍了LSM树（Log-Structured Merge-Tree）的基本原理，包括其在内存和磁盘上的组织方式、索引建立、日志管理和布隆过滤器的应用。LSM树通过牺牲部分读性能来优化写性能，广泛用于数据库和键值存储系统。文章详细讨论了LSM树的写入、删除、更新和查询操作，以及合并策略，如size_tiered和leveled策略。
摘要由CSDN通过智能技术生成

一.什么是LSM树?

LSM全称为"Log-Structured Merged-Tree"．后来被Google发表的BigTable论文发扬广大．LSM相对于B+树而言，LSM树在损失部分读性能的前提下尽可能的提高写性能，将随机写转换为顺序写.

LSM树主要应用于写多读少的情况．

二.LSM树的基本思想

LSM树将所有的数据的插入，删除，修改等操作保存在内存之中，当操作达到一定的阀值，批量的写入磁盘之中．而在写入磁盘的时候，达到一定的阀值会进行合并，对于磁盘文件不进行修改.

三.LSM树如何组织起来?

LSM树的结构是横跨内存和磁盘的，其中包含了memtable,sstable,log,bloom_fifter组件，下述将会讨论这些组件应该如何实现?

在内存中如何存储?

  • 首先介绍一下memtable这一组件，它是在内存中的数据结构，用来保存最近的一些更新操作．当写数据到memtable中，必须先写入磁盘中的Log(这里我们可以采用写穿的方式,例如O_SYNC或者fsync直接去磁盘进行交互),防止数据因为掉电而丢失.

  • memtable一般是需要有序的，这样在落入磁盘的时候是可

最低0.47元/天 解锁文章
dream0130__
关注
专栏目录
LSM-Tree
xiaodidadada的博客
04-19 1452
https://juejin.cn/post/6844903863758094343 https://segmentfault.com/a/1190000039269078 https://cloud.tencent.com/developer/article/1488439 https://segmentfault.com/a/1190000021136424?utm_source=sf-similar-article
Log Structured Merge Trees(LSM) 原理
xukaics的专栏
09-21 1603
Hbase中的log structure merge tree
LSM-Tree数据结构原理
最新发布
qq_32168087的博客
06-19 1400
LSM-Tree 即，这是一种分层有序，硬盘友好的数据结构。核心思想是利用磁盘顺序写性能远高于随机写。LSM-Tree 并不是一种严格的树结构，而是一种内存+磁盘的多层存储结构。HBase、LevelDB、RocksDB这些 NoSQL 存储都使用了 LSM-Tree。LSM Tree（Log Structure Merge Tree）是一种数据结构，是一种基于日志追加写、有一定结构、并且会merge合并的树（数据结构）特点利用磁盘批量的顺序写要远比随机写性能高出很多来支持随机读写操作。
LSM树（Log-Structured Merge Tree）存储引擎
热门推荐
远方的专栏
08-03 4万+
LSM树（Log-Structured Merge Tree）存储引擎 代表数据库：nessDB、leveldb、hbase等 核心思想的核心就是放弃部分读能力，换取写入的最大化能力。LSM Tree ，这个概念就是结构化合并树的意思，它的核心思路其实非常简单，就是假定内存足够大，因此不需要每次有数据更新就必须将数据写入到磁盘中，而可以先将最新的数据驻留在磁盘中，等到积累到最后多之后，
LSM 树(Log-Structured Merge-Tree) 原理
谈谈1974
07-24 5521
文章目录1. LSM 树介绍1.1 背景1.2 核心思想2. 基本原理2.1 写数据2.2 读数据3. LevelDB 中的 LSM 1. LSM 树介绍 1.1 背景 传统关系型数据库通常在读性能上有较高的要求，通过以下方式组织数据能够在复杂的读场景下(比如按关键字或者范围)高效地进行查找 二分查找: 将数据按一定规则顺序保存，使用二分查找可完成特定 key 的快速查找 哈希：使用哈希将数据分割存储在特定位置 B+树：使用 B+树 或者 ISAM 索引顺序存取等方法组织数据，可以减少外部文件的读取 外
LSM 算法的原理（通俗，详细）
大叶子不小的博客
05-13 8989
作者：henryPKU 链接：https://www.zhihu.com/question/19887265/answer/1714901833 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 LSM tree (log-structured merge-tree) 是一种对频繁写操作非常友好的数据结构，同时兼顾了查询效率。LSM tree 是许多 key-value 型或日志型数据库所依赖的核心数据结构，例如 BigTable、HBase、Cassandra、Lev.
LSM树原理介绍
eagle992018的博客
09-29 4557
LSM树原理介绍Log Structured Merge Trees(LSM) 原理基于日志策略的基本算法LEVELDB 及ROCKS DB中的实现LSM 基本算法LSM 基本算法 Log Structured Merge Trees(LSM) 原理 简单的说，LSM被设计来提供比传统的B+树或者ISAM更好的写操作吞吐量，通过消去随机的本地更新操作来达到这个目标。这是基于磁盘随机操作慢，顺序读写...
Tree-LSM
GZHarryAnonymous的博客
10-13 195
二分法 二分法很简单，很精妙！一半一半的舍弃，一倍一倍的填充。（O（LogN））->树???? 树????的类型 什么是普通的树？ 无序、混沌、自然、简单、墒减！ 什么是动态查找树？ 动态查找树主要有： 二叉查找树(BST)，平衡二叉查找树(AVL)，红黑树(RBT)，B~/B+树(B-tree)。 其都是动态结构。在删除，插入操作的时候，都不需要彻底重建原始的索引树。最多就是执行一定量的旋转，变色操作来有限的改变树的形态。 其查找的时间复杂度大体维持在O(log(N))数量级上。
《HBase原理与实践》学习笔记【1-8章 HBase基础知识及其工作原理】
IT小王
06-25 1545
《HBase原理与实践》学习笔记 一、HBase概述 1.1 HBase数据模型 1.1.1 逻辑视图 table：表 row：行 column：列 timestamp：时间戳 cell：单元格 1.1.2 物理视图 HBase中的数据是按照列族存储的，即将数据按照列族分别存储在不同目录中。 1.2 HBase体系结构 1.2.1 Master 主要负责HBase系统的各种管理工作： 处理用户的各种管理请求，包括建表、修改表、权限操作、切分表、合并数据等。 管理集群中的RegionSerer，包括其
raft协议学习笔记
yecuandu1534的博客
05-18 679
raft协议是一种共识协议，用来管理log复制。它的效果等同于multi-Paxos，并且与它的效率相当。但是与paxos的结构完全不同。raft协议更好理解，并且更加容易实现一个实际的分布式系统。将共识协议划分成几个模块：leader选举，日志复制和安全。raft也包括一个改变集群membership的机制，采用overlapping majorities来保证安全。 Introduction...
Hbase学习笔记
Winyar的博客
07-20 461
一、HBASE概述 官方网址：http://hbase.apache.org/ HBase是一个分布式的、面向列的开源数据库，该技术来源于Fay Chang 所撰写的Google论文《Bigtable》一个结构化数据的分布式存储系统"。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样，HBase 在Hadoop之上提供了类似于Bigtable的能力...
LSM树
weixin_42529806的博客
02-26 495
关于LSM树 LSM树，即日志结构合并树(Log-Structured Merge-Tree)。其实它并不属于一个具体的数据结构，它更多是一种数据结构的设计思想。大多NoSQL数据库核心思想都是基于LSM来做的，只是具体的实现不同。所以本来不打算列入该系列，但是有朋友留言了好几次让我讲LSM树，那么就说一下LSM树。 LSM树诞生背景 传统关系型数据库使用btree或一些变体作为存储结构，能...
LSM树学习
每天学习一点点的博客
11-02 1422
LSM树存储模型 关于Mem Table、Immutable Mem Table和SSTable等概念见博客： https://blog.csdn.net/qq910894904/article/details/38014127 LSM的基本思想是将修改的数据保存在内存，达到一定数量后在将修改的数据批量写入磁盘，在写入的过程中与之前已经存在的数据做合并。同B树存储模型一样，LSM存储模型也支持增、...
LSM(Linux Security Modules)框架原理解析
pwl999的博客
07-01 1万+
1. 基本原理 LSM是内核安全模块的一套框架，本质是插桩法。它的主要有两个特点： 1、在内核安全相关的关键路径上插入了Hook点： 内核安全相关的关键对象有：task_struct(任务和进程)、linux_binprm(程序)、super_block(文件系统)、inode(管道、文件或者 socket套接字)、file (打开的文件)、sk_buff(网络缓冲区)、net_device(网络设备)、ker_ipc_perm(Semaphore消息，共享内存段，消息队列)、msg_msg(单个消息)
【数据结构】LSM树（log-structed-merge-tree）原理及应用
masetLI的博客
03-02 2783
LSM 树的思想是使用顺序写代替随机写来提高写性能，与此同时会略微降低读性能。HBase、 Cassandra、 LevelDB、 RocksDB 以及 ClickHouse MergeTree 等流行的 NoSQL 数据库均采用 LSM 存储结构。
关于LSM树
I want to know a little more.
07-09 442
前言 推出一个新系列，《看图轻松理解数据结构和算法》，主要使用图片来描述常见的数据结构和算法，轻松阅读并理解掌握。本系列包括各种堆、各种队列、各种列表、各种树、各种图、各种排序等等几十篇的样子。 关于LSM树 LSM树，即日志结构合并树(Log-Structured Merge-Tree)。其实它并不属于一个具体的数据结构，它更多是一种数据结构的设计思想。大多NoSQL数据库核心思想都是基于LSM来做的，只是具体的实现不同。所以本来不打算列入该系列，但是有朋友留言了好几次让我讲LSM树，那么就说一下L
WiscKey：优化SSD的LSM树Key-Value分离存储策略
"WiscKey是一种针对固态硬盘（SSD）优化的持久化LSM树（Log-Structured Merge Tree）基键值存储系统，它采用了一种性能导向的数据布局策略，将键（Keys）与值（Values）分开，以减少由于LSM树导致的写放大的问题。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值