Hbase的原理之B+树和LSVM树的区别

最新推荐文章于 2023-02-02 11:45:00 发布
最新推荐文章于 2023-02-02 11:45:00 发布
阅读量766 收藏
点赞数 1
分类专栏： HBase 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/JacksonKing/article/details/97109033
版权

目录

 

共同点

区别

B+树

LSVM(Log-Structured Merge Tree)

实现原理

LSVM树

共同点

都是底层数据存储的数据结构

区别

B+树

  • 通常用于数据库和操作系统的文件系统
  • 插入和修改有较稳定的Logn时间复杂度
  • 自底向上插入
  • 寻道方式的磁盘使用

LSVM(Log-Structured Merge Tree)

  • 用于为具有很高记录更新(插入或删除)频率的文件提供索引机制
  • 一个内存组件和一个或多个磁盘组件(通过类似归并排序联合使用)
  • 适用于索引插入比查询更常见的情况
  • 常用与历史记录表和日志文件
  • 传输方式的磁盘使用
  • 把随机写转化成顺序写，减少磁盘寻道时间

实现原理

 

LSVM树

  • 划分不同等级树，一棵树位于内存(B树或者AVL树)，一棵树位于磁盘
  • 数据先插入内存中的树，内存中的树达到阈值时从左到右与磁盘中的树合并，合并后的数据量达到磁盘的存储页大小时，持久化到磁盘，同时更新父子节点指针
  • 查找时先从内存树找，没有再去磁盘树找
  • 定期合并，并flush到磁盘，可设置TTL，合并进程根据TTL删除无效的已删除数据

 

RunningShare
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
《HBase权威指南》读书笔记 第八章：架构，B+树
白色咖啡
08-13 877
B+树先说红黑树。红黑树是平衡二叉查找树。它通常用于Map结构的实现，可以根据Key快速找到Value。Java中的TreeMap就是通过红黑树实现的。它是一种二叉树，一个节点最多只能有两个子节点。当BST的存储结构放在硬盘上时，就出现问题了。因为二叉树的高度比较大，寻找一个叶子节点需要较多次数访问硬盘。我们知道访问硬盘的速度是非常慢的，所以BST不太适合用在硬盘上。然而B+树可以解决这个问题。B+
Hbase数据存储结构（LSM树，B+树）
小东升职记
03-14 1056
Hbase的相关知识
xiaoyutongxue6的博客
04-24 228
一、HBASE概述 (1)概述 基于hadoop的数据库工具  来源于google的一片论文BigTable 后来由Apache做了开源实现 就是HBase 是一种 NoSQL 非关系型的数据库 不符合关系型数据库的范式  适合存储 半结构化 非结构化 的数据  适合存储 稀疏的数据 空的数据不占用空间 面向列(族)进行存储  提供实时增删改查的能力 是一种真正的数据库 可以存储海...
HBase LSM树
bear
06-01 4601
HBase文件系统LSM数据结构的主题思想与特点
hbase LSM原理
peidezhi的专栏
06-29 370
hbase的写入性能远超一般的关系数据库，而且读取性能也不差。原理是怎么样的呢，这里主要是用到了LSM算法。 1 传统关系性数据库查询，主要是基于索引。 大部分都是B树和B+数来实现。 有关B,B+树的数据结构可以参考如下2篇文章： B树_程序袁小黑-CSDN博客_b树 ：https://blog.csdn.net/ydonghao2/article/details/82286580 https://www.cnblogs.com/xueqiuqiu/articles/8779029....
为什么HBase不使用B+ Tree而使用LSM-Tree?
Diana的博客
03-20 824
问题：为什么HBase不使用B+ Tree而使用LSM-Tree? 原因是： 1.B+Tree不适合为经常发生写操作的表建立索引，因为表数据发生变化，就需要重写物化索引，尤其是当表的数据量特别大的时候，物化索引的时间是相当长的。 2.在数据插入时，尤其是数据量比较大的时候，会发生大量的磁盘随机写。随机写会发生多次的磁盘调度和寻道时间，一般在1ms~10ms。所以海量数据写入的时候性能很低。 ...
Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+ES+Redash等详细安装部署
06-22
1、内容概要：Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+Elasticsearch+Redash等大数据集群及组件搭建指南（详细搭建步骤+实践过程问题总结）。 2、适合人群：大数据运维、大数据相关技术及组件初学者。 3、...
大数据Hadoop+HBase+Spark+Hive集群搭建教程(七月在线)1
08-03
在构建大数据处理环境时，Hadoop、HBase、Spark和Hive是四个核心组件，它们协同工作以实现高效的数据存储、处理和分析。本教程将详细介绍如何在Ubuntu系统上搭建这些组件的集群。 1. **Hadoop**：Hadoop是Apache...
hbase原理和设计
09-26
hbase原理和设计,包括二级索引，rowkey设计,常见的坑.
安装笔记：hadoop+hbase+sqoop2+phoenix+kerberos
01-12
至于Phoenix，它是SQL查询引擎，直接在HBase之上提供关系型数据库功能，使得通过SQL语句操作HBase变得更加方便。而Sqoop2则是一个数据迁移工具，用于在Hadoop和传统数据库之间导入导出数据。 总的来说，这个安装...
基于Flume+Kafka+Hbase+Flink+FineBI的实时综合案例.txt
最新发布
10-13
基于Flume+Kafka+Hbase+Flink+FineBI的实时综合案例.txt基于Flume+Kafka+Hbase+Flink+FineBI的实时综合案例.txt基于Flume+Kafka+Hbase+Flink+FineBI的实时综合案例.txt基于Flume+Kafka+Hbase+Flink+FineBI的实时综合...
深入浅出机器学习技法（一）：线性支持向量机（LSVM）
dzysunshine的博客
10-19 3488
线性支持向量机 引自红色石头的博客
B树、B+树、LSM树以及其典型应用场景
热门推荐
惜暮
10-12 2万+
前言动态查找树主要有：二叉查找树、平衡二叉树、红黑树、B树、B+树。前面三种是典型的二叉查找树，查找的时间复杂度是O(log2N)与树的深度有关系，那么降低树的深度也就可以提升查找效率。这时就提出了平衡多路查找树，也就是B树以及B+树。B树和B+树非常典型的场景就是用于关系型数据库的索引(MySQL)B树B树是一种平衡多路搜索树，B树与红黑树最大的不同在于，B树的结点可以有多个子女，从几个到几千个。
【HBase高级】5. HBase数据结构（上）跳表、二叉搜索树、红黑树、B、B+树
CSDNGuoYuying的博客
02-02 490
AVL树是高度平衡的（严格平衡），频繁的插入和删除，会引起频繁的rebalance，导致效率下降，它比较使用与插入/删除较少，查找较多的场景。因为二叉搜索树是一种二叉树，每个节点只能有两个子节点，但有较多节点时，整棵树的高度会比较大，树的高度越大，搜索的性能开销也就越大。节点6的子节点：节点3的高度为：1，节点7的高度为：0，| 1 – 0 | = 1 = 1 ）节点6的子节点：节点2的高度为：2，节点7的高度为：0，| 2 – 0 | = 2 > 1）2.如果小于根节点，则在根节点的左子树进行查找。
HBase为什么使用LSM树
淡定一生2333的博客
04-13 3644
一般的关系型数据库使用的都是B+树，而《HBase权威指南》中说到HBase使用的LSM树，所以本文就是想来了解一下使用LSM树的好处是啥。 先来回顾下B+树： 为什么不用二叉树、红黑树？ 因为二叉树结构中，每个节点至多会有两个子节点，当树的高度很高时，相应的磁盘访问次数就要增加，因为访问磁盘的速度是很慢的，从而导致查询效率低下。所以很自然的想法就是把树的高度降一降，所...
HBase RegionServer详解（未完）
dawuafang
05-11 532
HBase RegionServer详解 RegionServer组件介绍 RegionServer是HBase集群运行在每个工作节点上的服务。它是整个HBase系统的关键所在，一方面它维护了Region的状态，提供了对于Region的管理和服务；另一方面，它与Master交互，参与Master的分布式协调管理。 MemStoreFlusher MemStoreFlush...
[HBase] LSM树 VS B+树
数据库
05-08 993
LSM树是HBase里非常有创意的一种数据结构，它和传统的B+树不太一样，下面先说说B+树。 1 B+树 相信大家对B+树已经非常的熟悉，比如Oracle的普通索引就是采用B+树的方式，下面是一个B+树的例子： 根节点和枝节点很简单，分别记录每个叶子节点的最小值，并用一个指针指向叶子节点。 叶子节点里每个键值都指向真正的数据块（如Oracle里的RowID），每个叶子节点都有前指针...
LSM树原理介绍
eagle992018的博客
09-29 4533
LSM树原理介绍Log Structured Merge Trees(LSM) 原理基于日志策略的基本算法LEVELDB 及ROCKS DB中的实现LSM 基本算法LSM 基本算法 Log Structured Merge Trees(LSM) 原理 简单的说，LSM被设计来提供比传统的B+树或者ISAM更好的写操作吞吐量，通过消去随机的本地更新操作来达到这个目标。这是基于磁盘随机操作慢，顺序读写...
从B+树到LSM树，及LSM树在HBase中的应用
LittleMagic's Blog
11-17 807
前言 在有代表性的关系型数据库如MySQL、SQL Server、Oracle中，数据存储与索引的基本结构就是我们耳熟能详的B树和B+树。而在一些主流的NoSQL数据库如HBase、Cassandra、LevelDB、RocksDB中，则是使用日志结构合并树（Log-structured Merge Tree，LSM Tree）来组织数据。本文先由B+树来引出对LSM树的介绍，然后...
用Java代码在hbase根据列族+列名获得value
05-25
可以通过使用HBase Java API中的`Get`类来获取特定列族和列名的值。下面是一个简单的示例代码： ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.Cell; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.TableName; import org.apache.hadoop.hbase.client.Connection; import org.apache.hadoop.hbase.client.ConnectionFactory; import org.apache.hadoop.hbase.client.Get; import org.apache.hadoop.hbase.client.Result; import org.apache.hadoop.hbase.client.Table; import org.apache.hadoop.hbase.util.Bytes; public class HBaseGetExample { public static void main(String[] args) throws Exception { // 1. 创建配置对象并设置 HBase 连接参数 Configuration config = HBaseConfiguration.create(); config.set("hbase.zookeeper.quorum", "localhost"); config.set("hbase.zookeeper.property.clientPort", "2181"); // 2. 创建 HBase 连接对象和表对象 Connection connection = ConnectionFactory.createConnection(config); Table table = connection.getTable(TableName.valueOf("table1")); // 3. 创建 Get 对象，设置需要查询的行键和列族、列名 Get get = new Get(Bytes.toBytes("row1")); get.addColumn(Bytes.toBytes("cf1"), Bytes.toBytes("col1")); // 4. 执行查询操作并处理结果 Result result = table.get(get); for (Cell cell : result.listCells()) { String value = Bytes.toString(cell.getValueArray(), cell.getValueOffset(), cell.getValueLength()); System.out.println("value = " + value); } // 5. 关闭连接和表对象 table.close(); connection.close(); } } ``` 在上面的代码中，我们首先创建一个`Configuration`对象并设置HBase连接参数。然后，创建`Connection`对象和`Table`对象来获取对表的访问。接下来，我们创建一个`Get`对象，并设置需要查询的行键和列族、列名。最后，执行查询操作并处理结果。注意，这里我们使用`Cell`对象来遍历结果集并获取值，因为可能存在一个行键对应多个列族和列名的情况。 希望这个示例代码对你有所帮助！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值