LSM树存储模型

最新推荐文章于 2025-08-23 12:33:31 发布
原创 最新推荐文章于 2025-08-23 12:33:31 发布 · 1.9w 阅读 · 19 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#分布式存储 #存储系统 #读书笔记 #LSM

本文是《大规模分布式存储系统：原理解析与架构实战》的读书笔记，详细介绍了LSM树的结构，包括MemTable、Immutable MemTable和SSTable。讨论了LSM如何通过批量写入和合并优化写性能，以及LevelDB如何利用元信息和分层合并提升读性能。还分享了实现简单LSM模型的经验。

----《大规模分布式存储系统：原理解析与架构实战》读书笔记

之前研究了Bitcask存储模型，今天来看看LSM存储模型，两者虽然同属于基于键值的日志型存储模型。但是Bitcask使用哈希表建立索引，而LSM使用跳跃表建立索引。这一差别导致了两个存储系统的构造出现明显的分化。为此，我还先去捣腾了一番跳跃表的实现.今天算是进入了正题。

LSM的结构

LSM的基本思想是将修改的数据保存在内存，达到一定数量后在将修改的数据批量写入磁盘，在写入的过程中与之前已经存在的数据做合并。同B树存储模型一样，LSM存储模型也支持增、删、读、改以及

最低0.47元/天 解锁文章
深入理解 LSM 树：现代存储系统的基础
l51541iuiui的博客
01-20 1061
磁盘批量的顺序写要远比随机写性能高出很多磁盘顺序写:将消息先写入到操作系统的页缓存中，由页缓存直接映射到磁盘文件，不需要在用户空间和内核空间直接拷贝消息，也可以认为消息传输是发送在内存中的磁盘随机写:磁盘随机写入是指数据写入磁盘时，写入位置不连续，磁盘的磁头需要频繁移动到不同位置进行写入。LSM树的核心特点是利用顺序写来提高写性能，但因为分层(此处分层是指的分为内存和文件两部分)的设计会稍微降低读性能，但是通过牺牲小部分读性能换来高性能写，使得LSM树成为非常流行的存储结构。
LSM-Tree 存储的深入设计
weixin_41894177的博客
02-14 939
LSM-Tree 通过将写入数据先存入内存，再批量刷盘到磁盘，结合后台 Compaction 和智能索引机制，实现了高吞吐、低延时的存储效果。它的设计充分平衡了写入和读取性能，特别适用于海量数据、高并发写入的应用场景，如日志存储、时序数据库以及分布式 KV 系统。如果你对具体实现细节或调优策略感兴趣，如 RocksDB 的源码解析、Compaction 策略的优化等，欢迎在评论区与我深入讨论！希望这篇文章能帮助你更好地理解 LSM-Tree 的存储设计及其在现代数据系统中的应用。
【经典算法】深入剖析LSM-Tree算法：原理与实战
最新发布
大雨的博客
08-23 1233
本文介绍了LSM-Tree（日志结构合并树）算法的核心原理、实现方法及应用场景。该算法通过分层存储和批量合并操作，将随机写转化为顺序写，显著提升写入性能，适用于大数据存储和分布式系统。文章详细解析了LSM-Tree的写入流程、读取流程和合并操作，并提供了Python实现的关键代码示例。同时，结合LevelDB、RocksDB等实际案例，分析了其在时序数据库、分布式系统等场景的优势，也指出了读取性能、磁盘占用等方面的不足。最后展望了LSM-Tree与SSD、AI技术结合的发展趋势。
LSM-TREE从入门到入魔：从零开始实现一个高性能键值存储 ｜ 得物技术
SmartCodeTech的博客
03-04 2131
LSM-Tree（Log-Structured Merge Tree）是一种高效的键值存储数据结构，广泛应用于NoSQL数据库和大数据处理系统中。
LSM存储模型
青冬的博客
04-21 1327
序 摘自： https://zhuanlan.zhihu.com/p/37193700 LSM LSM（log-structed-merge-tree） 常常用于 HBase、BigTable、Cassandra、MongoDB等NoSql底层的存储模型就是LSM。 Hbase 学习过程中也使用到了LSM模型，所以就重新来梳理下LSM模型。 背景 大家都知道磁盘的顺序读写速度很快，随机读写很慢。 现在市面上7200rpm的希捷SATA硬盘顺序读写基本都能达到300M...
LSM树存储技术详解
# LSM树存储技术详解 ## 1. 布隆过滤器（Bloom Filter） 布隆过滤器是一种空间效率极高的概率型数据结构，用于判断一个元素是否存在于一个集合中。使用多个哈希函数可以检查更多的位，从而得到更精确的结果。但更大...
基于Pure Rust的嵌入式LSM树存储引擎wickdb
“wickdb：基于Pure Rust LSM树的嵌入式存储引擎”是一个专注于高性能、低延迟、高可靠性的嵌入式键值存储系统，其核心技术架构建立在LSM树（Log-Structured Merge Tree）之上，并完全使用Rust语言开发。该存储引擎...
LSM树存储机制与优化策略解析
# LSM树存储机制与优化策略解析 ## 1. 合并迭代器的实现 在数据处理中，合并多个迭代器的数据是常见需求。以下是创建组合迭代器的步骤： 1. 初始时，将每个迭代器的首个元素填充到优先队列中。 2. 从优先队列中取出...
LSM树设计思想以及存储模型
chenglinhust的专栏
10-25 3537
                                                                               LSM树设计思想以及存储模型   一. LSM树的设计思想     1. 哈希存储系统         哈希表的持久化实现，支持增、删、改以及随机读取操作，但不支持顺序扫描，对应的存储系统为key-value存储系统。对于key-val...
LSM树
李木子的博客
07-30 2241
假如对写操作的吞吐量比较敏感，可采用日志策略（顺序读写，只追加不修改）来提升写性能。存在问题：数据查找需要倒序扫描，花费很多时间。比如，预写日志WAL，WAL的中心概念是数据文件（存储着表和索引）的修改必须在这些动作被日志记录之后才被写入，即在描述这些改变的日志记录被刷到持久存储以后。如果我们遵循这种过程，我们不需要在每个事务提交时刷写数据页面到磁盘，因为我们知道在发生崩溃时可以使用日志来恢复数据...
LSM树理解
weixin_30919919的博客
06-17 314
对比三种引擎的实现：　　 hash存储引擎：哈希表持久化的实现，可以快速支持增删改查等随机操作，且时间复杂度为o(1)，但是不支持顺序读取扫描，对应的存储系统为k-v存储系统的实现。 b树存储引擎是b树的持久化实现，不仅支持单条记录的增删改查操作，还支持顺序扫描，对应的存储系统就是mysql。 lsm树存储引擎和b树存储引擎，一样支持，增删改查，也支持顺序扫描操作。LSM牺牲了读性能，提...
HBase LSM树存储结构
gaofeng的博客
07-05 1084
HBase LSM树存储结构 1、LSM树的由来 ​ 在了解LSM树之前，大家需要对hash表和B+树有所了解。 ​ hash存储方式支持增、删、改以及随机读取操作，但不支持顺序扫描，对应的存储系统为key-value存储系统。对于key-value的插入以及查询，哈希表的复杂度都是O(1)，明显比树的操作O(n)快,如果不需要有序的遍历数据，哈希表就是最佳选择 ​ B+树不仅支持单条记录的增、删、读、改操作，还支持顺序扫描（B+树的叶子节点之间的指针），对应的存储系统就是关系数据库（Mysql等）。
Hash存储模型、B-Tree存储模型、LSM存储模型介绍
cnmeimei的博客
11-24 432
每一种数据存储系统，对应有一种存储模型，或者叫存储引擎。我们今天要介绍的是三种比较流行的存储模型，分别是：Hash存储模型B-Tree存储模型LSM存储模型不同存储模型的应用情况1、Hash存储模型redismemcache2、B-Tree存储模型MySQL（以及大多数的关系型数据库）MongoDB3、LSM树存储模型HBaseRocksDB不同存储模型介绍1、Hash存储模型Hash存储模型其实就是HashMap（哈希表）的持久化实现。这种模型的特点是与HashMap有密切关系的。我们知道Has...
从 0 到 1 实现 LSM-Tree 存储引擎
2401_89221867的博客
01-03 1103
本文将从认识 LSM-Tree（Log-Structured Merge-Tree）开始，了解 LSM-Tree 中涉及到的的概念，结构等，并带领你从 0 到 1 实现一个自己的基于 LSM-Tree 的存储引擎。LSM-Tree（Log-Structured Merge Tree 日志结构合并树） 是一种适合高吞吐量写操作的数据结构，常用于数据库和存储系统中，例如 Cassandra、RocksDB 和 LevelDB。
数据结构-LSM树(NoSQL数据库常用)
kk阿彬
10-14 1198
文章目录是什么LSM树诞生背景LSM树原理数据结构写操作原理Compactsize-tiered 策略level策略和mysql的B+树对比 是什么 LSM树，日志结构合并树(Log-Structured Merge-Tree)。 其实它并不属于一个具体的数据结构，它更多是一种数据结构的设计思想。大多NoSQL数据库都是基于LSM来做的。 LSM树诞生背景 传统关系型数据库使用btree或一些变体作为存储结构，能高效进行查找。但保存在磁盘中时它也有一个明显的缺陷，那就是逻辑上相离很近但物理却可能相隔很远，这
LSM存储引擎
u012094957的专栏
05-31 1059
LSM(log structured merge Trees)是一种存储引擎，存储引擎有两个最基本的操作就是读和写。LSM之所以出现的根本原因就在于磁盘的顺序读写性能远远高于随机读写。 问题 对于存储引擎来说，如果只是写而不考虑读的话就完全不需要有那么多花里胡哨的设计，只需要保证写基本是顺序写就可以。最简单的实现就是在内存中加个缓冲区，当缓冲区中的数据满时，刷新到磁盘上。但是要保证数据的快速读取，就必须要知道每一条数据具体存储在文件的什么位置，或者大概位置。在没有索引的情况下，只能对整个文件进行遍历和匹配，
日志结构的存储引擎--LSM存储引擎
war999的博客
05-21 787
LSM、存储引擎
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值