【hadoop】为什么大数据NoSQL采用LSM树结构

最新推荐文章于 2024-07-17 00:45:00 发布
最新推荐文章于 2024-07-17 00:45:00 发布
阅读量446 收藏
点赞数 19
分类专栏： 算法学习 语言-java生态 不体系 文章标签： 大数据 hadoop nosql
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/133103233
版权
语言-java生态 同时被 3 个专栏收录
415 篇文章 485 订阅 ¥19.90 ¥99.00
订阅专栏
算法学习
205 篇文章 9 订阅 ¥9.90 ¥99.00
订阅专栏
不体系
156 篇文章 452 订阅 ¥39.90 ¥99.00
订阅专栏
本文深入探讨了LSM树如何优化大数据NoSQL数据库的写入性能，通过对比B+树，解释了LSM树的内存缓冲、SSTable、合并与压缩过程。还介绍了常见的优化措施，如内存汇总表和布隆过滤器，以提升读取效率。
摘要由CSDN通过智能技术生成

在这里插入图片描述

1.概述

近年来，像Cassandra这样的NoSQL数据库流行起来。一个驱动因素是从越来越多的来源(如移动应用程序和物联网设备） 获取大量数据的永无止境的需求。

许多NoSQL数据库背后的秘诀是一种称为LSM树的数据结构。

要了解LSM树的工作原理，我们首先看一下数据通常如何存储在关系数据库中。关系数据库通常由称为B+树的数据结构支持。

在这里插入图片描述

B+树针对读取进行了优化。写入B+树相对代价更高，因为它涉及随机IO，并且可能包括更新磁盘上的多个Page。

在这里插入图片描述
LSM树的工作方式不同，LSM树针对快速写入进行了优化，写入称为memta

了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
个人笔记：分布式大数据技术原理（一）Hadoop 框架
艺术架构
01-06 1427
Apache Hadoop 软件库是一个框架，它允许使用简单的编程模型，实现跨计算机集群的大型数据集的分布式处理。它最初的设计目的是为了检测和处理应用程序层的故障，从单个机器扩展到数千台机器（这些机器可以是廉价的），每个机器提供本地计算和存储，而不是依靠硬件提供高可靠性。
HBase：大数据中的NoSQL
CoLiuRs
10-17 321
Hbase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，用于存储海量的结构化或者半结构化，非结构化的数据，底层上的数据是以二进制流的形式存储在 HDFS 上的数据块中的 Go 读写HBase
从B+树到LSM树，及LSM树在HBase中的应用
张普的专栏
05-14 253
前言 在有代表性的关系型数据库如MySQL、SQL Server、Oracle中，数据存储与索引的基本结构就是我们耳熟能详的B树和B+树。而在一些主流的NoSQL数据库如HBase、Cassandra、LevelDB、RocksDB中，则是使用日志结构合并树（Log-structured Merge Tree，LSM Tree）来组织数据。本文先由B+树来引出对LSM树的...
【大数据&AI人工智能】HBase 高可用、高性能原理讲解：LSM Tree / 数据压缩 Minor Compaction和Major Compaction / Bloom Filter/Cache
热门推荐
AI天才研究院
05-23 2万+
HBase是一个开源的分布式非关系型（NoSQL）数据库，专为处理大规模数据存储和实时查询而设计。它参考了Google的BigTable模型，并作为Apache Hadoop项目的一部分，实现语言为Java。HBase运行在Hadoop Distributed File System（HDFS）之上，为Hadoop提供类BigTable的服务。分布式存储：HBase利用Hadoop的分布式文件系统HDFS，将数据分布在多个节点上，提供水平扩展的能力。列式存储。
LSM树原理及应用到HBase的索引
GSpinach的博客
08-07 2309
@Author : Spinach | GHB @Link : http://blog.csdn.net/bocai8058 概念 B+树 LSM树 主要原理 LSM树的读写 LSM树的读写 LSM树的优化方式 关于LSM最本质原理的3个问题 B树与LSM树的适应场景 概念 LSM树全称是基于日志结构的合并树（Log-Structured M...
大数据讲课笔记2.3 初探Hadoop世界
howard2005的专栏
10-04 835
1. 了解Hadoop的发展历史； 2. 了解Hadoop的版本情况； 3. 掌握Hadoop的生态体系
一网打尽 NoSQL：当下 NoSQL 类型、适用场景及使用公司
天行健，君子以自强不息；地势坤，君子以厚德载物。
02-22 908
前言在互联网和大数据的背景下，越来越多的网站、应用系统需要支撑海量数据存储、高并发请求、高可用、高可扩展性等特性要求。传统的关系型数据库 RDBMS 已经难以应对类似的需求，各种各样的 N...
【Hadoop学习笔记】大数据框架原理及主要工具概述
weixin_38002497的博客
05-22 547
大数据 大数据技术与工程开发技术在架构上有很大的不同，大数据技术当然更关系数据，相关架构也都是围绕着数据展开，重要要考虑如何存储、计算、传输大规模的数据等；而工程端的计算处理模型都是“输入-> 计算-> 输出”模型。 最大的不同点就是工程技术程序是主体，数据是传输对象，将数据输入后工程才开始计算，然后输出结果。 而面临PB级别的大数据计算任务，再去搬移数据，无论读取、传输、处理已经任何...
笔记：分布式大数据技术原理（一）Hadoop 框架
WeeeicheN 的博客
07-20 1239
前言-从 Hadoop 说起 什么是 Hadoop Apache Hadoop 软件库是一个框架，它允许使用简单的编程模型，实现跨计算机集群的大型数据集的分布式处理。它最初的设计目的是为了检测和处理应用程序层的故障，从单个机器扩展到数千台机器（这些机器可以是廉价的），每个机器提供本地计算和存储，而不是依靠硬件提供高可用性。 Hadoop 中有3个核心组件： 分布式文件系统：HDFS —— 实现将文件分布式存储在很多的服务器上 分布式运算编程框架：MapReduce —— 实现在很多机器上...
NoSQL数据库中的数据结构的一些重要特性，并结合实际案例给出一些常用的数据结构和查询方法
AI天才研究院
08-27 524
作者：禅与计算机程序设计艺术 1.简介 随着数据量的增长，传统的关系型数据库已经无法满足需求了，这时候出现了NoSQL这类非关系型数据库，例如MongoDB、Redis等。那么在这类NoSQL数据库中，如何利用数据结构进行高效查询呢？本文将介绍一下数据结构的一些重要特性，并结合实际案例给出一些常用的数据
【算法】八大排序算法的时间复杂度 表格
九师兄
10-25 4416
1.概述
【算法】剑指 Offer 04. 二维数组中的查找 【重刷】
九师兄
12-23 3508
1.概述 在一个 n * m 的二维数组中，每一行都按照从左到右递增的顺序排序，每一列都按照从上到下递增的顺序排序。请完成一个高效的函数，输入这样的一个二维数组和一个整数，判断数组中是否含有该整数。 示例: 现有矩阵 matrix 如下： [ [1, 4, 7, 11, 15], [2, 5, 8, 12, 19], [3, 6, 9, 16, 22], [10, 13, 14, 17, 24], [18, 21, 23, 26, 30] ] 给定 target =
【算法】LSM-tree 基本原理及应用
九师兄
07-04 2953
LSM-tree 在 NoSQL 系统里非常常见，基本已经成为必选方案了。今天介绍一下 LSM-tree 的主要思想，再举一个 LevelDB 的例子。 LSM-tree 起源于 1996 年的一篇论文《The Log-Structured Merge-Tree (LSM-Tree)》，这篇论文 32 页，我一直没读，对 LSM 的学习基本都来自顶会论文的背景知识以及开源系统文档。今天的内容和图片...
【算法】逆波兰式（后缀表达式）的计算 & 中缀表达式转后缀表达式（逆波兰式）
九师兄
10-24 2014
【算法】逆波兰式（后缀表达式）的计算 & 中缀表达式转后缀表达式（逆波兰式）
【算法】希尔排序 推导方法
九师兄
10-24 1900
1.概述 希尔排序是希尔(DonaldShell) 于1959年提出的一种排序算法。希尔排序也是一种插入排序，它是简单插入排序经过改进之后的一个更高效的版本，也称为缩小增量排序。 希尔排序法基本思想 希尔排序是把记录按下标的一定增量分组，对每组使用直接插入排序算法排序;随着增量逐渐减少，每组包含的关键词越来越多，当增量减至1时，整个文件恰被分成一组，算法便终止。 主要避免的是下面这个问题，防止小的数据出现在最后面，然后需要移动很多次。 2. 模拟 /** * 测试点：一步步推导出来希尔排
【算法】删除有序链表中的重复元素、保留重复节点的一个
最新发布
九师兄
07-17 1211
存在一个按升序排列的链表，给你这个链表的头节点 head，请你删除所有重复的元素，。返回同样按升序排列的结果链表。
【算法】CRC 循环冗余校验
九师兄
04-05 1155
1.概述 循环冗余校验CRC (Cyclic Redundancy Check)是一种数据链路层的差错控制技术。 在数据的传输过程中可能会产生比特错误: 1可能变为0，0可能变为1。 在一段时间内，传输错误的比特所占传输比特总数的比率称为误码率BER(BitErrorRate)。 为了保证数据传输的可靠性，在计算机网络传输数据时，必须采用相应的差错检测机制! 2.循环冗余校验CRC 循环冗余校验CRC (Cyclic Redundancy Check) 在数据链路层传送的帧中，广泛使用了CRC (循环冗余.
【算法】剑指 Offer 36. 二叉搜索树与双向链表
九师兄
12-17 904
1.概述 地址：https://leetcode-cn.com/problems/er-cha-sou-suo-shu-yu-shuang-xiang-lian-biao-lcof/ /* // Definition for a Node. class Node { public int val; public Node left; public Node right; public Node() {} public Node(int _val) {
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值