SSTables和LSM-Tree

最新推荐文章于 2024-05-27 10:01:25 发布
最新推荐文章于 2024-05-27 10:01:25 发布
阅读量316 收藏
点赞数
分类专栏： Java从开发到设计 文章标签： lsm-tree
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dw147258dw/article/details/132825215
版权
SSTables类似于Kafka，通过按键排序将数据写入磁盘并分段，构建稀疏索引，而LSM-Tree在此基础上，在内存中使用两个交替工作的Tree。当Tree达到一定大小时，数据写入磁盘生成SSTables。读取时先查内存，再查磁盘上的SSTables。为确保写入安全，采用预写日志策略。
摘要由CSDN通过智能技术生成

SSTables 可以类比Kafka：将数据按键排序写入磁盘，并分为多个段，组织段的稀疏索引，并定期合并段文件（kafka因为不存在重复数据，所以不需要合并）

LSM-Tree是基于SSTables的：在内存中维护两个Tree（交替工作），当Tree的大小达到一定的阈值之后，写操作转移到另一个tree，并将当前tree写入磁盘，形成一个SSTables实例，当读的时候，先从内存实例中查找，然后依次从磁盘的SSTables查找，并且写的时候为了避免宕机，会先写一个顺序预写日志（这也是Rockes和Level-DB的视线）

 

唐伯虎点蚊香dw
关注
专栏目录
订阅专栏
数据库的数据结构 LSM-Tree 和 B-tree
J贝的博客
06-27 695
数据库最基本的两件事情: 插入和查询 涉及2个问题，如何存储数据和查找数据。 最简单的结构 底层结构:一个纯文本文件，其中每行包含一个key-value对 插入: 每次插入即追加新的内容到文件末尾，相同的值不会覆盖。 查询: 查看文件中最后一次出现的值来找到最新的值。 追加到文件尾部的方式通常足够高效，这种机制叫做日志(log)，这里的日志表示的是一个仅能追加的记录序列集合。 问题: 查找会很慢，需要遍历从头到尾，o(n)。为了高效的查找，需要新的结构:索引。 索引背后的基本想法.
SSTable详解
weixin_34037173的博客
05-17 247
前记 几年前在读Google的BigTable论文的时候，当时并没有理解论文里面表达的思想，因而囫囵吞枣，并没有注意到SSTable的概念。再后来开始关注HBase的设计和源码后，开始对BigTable传递的思想慢慢的清晰起来，但是因为事情太多，没有安排出时间重读BigTable的论文。在项目里，我因为自己在学HBase，开始主推HBase，而另一个同事...
高阶数据结构：SSTable
Master-TJ的个人博客
01-09 4879
1. 前言 最近在组会上面通过小组讨论论文时，发现了SSTable这个数据结构。课后为了深入分析和学习这个数据结构，我做了一些资料查阅。在查询相关分布式的书籍后，找到了SSTable的数据结构，现将其作为笔记记录下来。之前整理的BigTable论文里面提及到了SStable，但是当时并没有引起我的注意。现在将深入理解这个数据结构——SSTable。 2. SSTable的定义 Google SST...
SSTable and Log Structured Storage: LevelDB
sunny_98_98的博客
07-12 233
原文 如果 Protocol Buffers 是 Google 个人数据记录的通用语言，那么排序字符串表 (SSTable) 是用于存储、处理和交换数据集的最流行的输出之一。 顾名思义，SSTable 是一种简单的抽象，可以有效地存储大量键值对，同时针对高吞吐量、顺序读/写工作负载进行优化。 不幸的是，SSTable 名称本身也被行业重载以指代远远超出排序表的服务，这只会给本身非常简单且有用的数据结构增加不必要的混淆。 让我们仔细看看 SSTable 的背后以及 LevelDB 如何使用它。 SSTable
sstable 持续增多
linux运维交流学习
11-06 185
cassandra 的sstables 一直增加 有2～3万多，磁盘空间也消耗的很快，经过各种修改配置调试，有点效果。 把 cassandra.yaml配置文件里的 compaction_throughput_mb_per_sec 调高点，sstables 就不会增加的那么快了。 这个配置项是控制 每秒压缩量的，压缩量大了，sstables 就不会堆积的那么快了 compaction_...
探索高效数据存储：go-sstables 开源库解析与应用
最新发布
gitblog_00048的博客
05-27 430
探索高效数据存储：go-sstables 开源库解析与应用 go-sstablesGo library for protobuf compatible sstables, a skiplist, a recordio format and other database building blocks like a write-ahead log. Ships now with an embedd...
存储引擎中 LSM-Tree 和 LSM-Log 的关系和区别
# 一、介绍 ## 1.1 简述存储引擎的作用 存储引擎是数据库系统中负责数据的存储和检索的核心组件之一。它定义了数据在磁盘或内存中的组织方式，并提供了读写操作的接口。...## 1.2 LSM-Tree和LSM-Log的概念和作
LSM-Tree和B-Tree的对比与优劣势分析
LSM-Tree（Log-Structured Merge-Tree）和B-Tree是两种常见的数据结构，用于在数据库系统中管理和组织数据。它们在数据的插入、查询和存储上有着不同的特点和优势，适用于不同的应用场景。 **LSM-Tree**是一种基于...
LSM-based Storage Techniques: A Survey（2019）
Tian_pp的博客
07-05 811
总结关于lsm-tree的研究成果。通常，索引结构可以从两种策略中选择一种来处理更新，即就地更新和非就地更新。一个就地更新结构，比如B+树，直接覆盖旧记录来存储新的更新。这些结构通常是读优化的，因为只存储每个记录的最新版本。但是，这种设计牺牲了写性能，因为更新会产生随机I/o。此外，索引页可以通过更新和删除进行分片，从而降低空间利用率。 相比之下，非就地更新结构(如lsm-tree)总是将更新存储到新的位置，而不是覆盖旧的条目。这种设计提高了写性能，因为它可以利用顺序I/o来处理写。它还可以通过不覆盖旧数据
详解SSTable结构和LSMTree索引
weixin_34378767的博客
08-14 692
http://www.igvita.com/2012/02/06/sstable-and-log-structured-storage-leveldb/, SSTable and Log Structured Storage: LevelDB   The Sorted String Table (SSTable) is one of the most popular outputs for s...
操作Cassandra（3）-合并、压实
nangongyanya的专栏
01-04 2789
压缩类型（Types of compaction） 压缩的概念用于Cassandra中的不同类型的操作，这些操作的常见之处在于它需要一个或多个sstables并输出新的sstables。压缩的类型有： 轻度压缩（Minor compaction）在Cassandra中自动触发。高度压缩（Major compaction）用户对节点上的所有sstables执行压缩。用户自定义压缩（User de
数据库-视图(View)详解
热门推荐
Dove_Knowledge的博客
05-09 1万+
一、简介 视图(View)可以看作定义在SQL Server上的虚拟表.视图正如其名字的含义一样，是另一种查看数据的入口.常规视图本身并不存储实际的数据，而仅仅存储一个Select语句和所涉及表的metadata。 视图简单理解如下： 通过视图，客户端不再需要知道底层table的表结构及其之间的关系。视图提供了一个统一访问数据的接口。 二、为什么要使用视图(View)
数据密集型应用系统设计 笔记一
文报的博客
12-05 1063
一 数据系统基础: 一个应用必须完成预期的多种需求，主要包括功能性需求(即应该做什么，比如各种存储、检索、搜索和处理数据)和一些非功能性需求(即常规特性、例如安全性 、可靠性、合规性、可伸缩性 、兼容性和可维护性）。然后在谈应用的可靠性、可扩展性和可维护性。可靠性: 1.应用程序执行用户所期望的功能。 2.可以容忍用户出现错误或者不正确的软件使用方法。 3.性...
cassandra 3.x官方文档(7)---内部原理之如何读写数据
weixin_30425949的博客
02-12 491
写在前面 cassandra3.x官方文档的非官方翻译。翻译内容水平全依赖本人英文水平和对cassandra的理解。所以强烈建议阅读英文版cassandra 3.x 官方文档。此文档一半是翻译，一半是个人对cassandra的认知。尽量将我的理解通过引用的方式标注，以示区别。另外文档翻译是项长期并有挑战的工作，如果你愿意加入cassandra git book,可以发信给我。...
【翻译】理解LSM树：重度写数据库背后的实现机制
douruiling的博客
11-09 1234
https://yetanotherdevblog.com/lsm/ A log-structured merge-tree (LSM tree) is a data structure typically used when dealing with write-heavy workloads. The write path is optimized by only performing sequential writes. LSM trees are the core data structure be
SSTable结构
ws1296931325的博客
01-25 8664
SSTable文件是memtable 数据到一定阈值写入文件形成的，由于内存容量总是有限的，将一定量数据写入磁盘可以存放更多数据，所以leveldb相比redis能存放更多数据。既然数据持久化到磁盘，那么还有必然涉及到从磁盘中查询数据，从磁盘中查询数据与从内存中查询数据的效率是不一样的，所以SSTable 数据组织方式必然与众不同，因为必须要提高查询效率，不能给一个key就去遍历所有SSTable...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值