HBase 最全存储原理（一）

最新推荐文章于 2024-01-28 14:33:43 发布
最新推荐文章于 2024-01-28 14:33:43 发布
阅读量2.2k 收藏 14
点赞数 1
分类专栏： 数据仓库 大数据 文章标签： HBase 最全存储原理 HBase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ytp552200ytp/article/details/115478636
版权

问题导读：
1、存储模式有哪些?
2、Hbase为什么要使用列族?
3、hbase数据压缩方式有哪些?
4、HBase架构如何理解？


存储模式

常见的关系型数据库大都使用行式存储，例如 mysql、Oracle ,但 HBase 不一样，它使用的是列式存储！

行式存储与列式存储

什么是行式存储，什么是列式存储？假如有这样一张表



那么行式存储是将一行数据存储在一起



列式存储是将一列数据存储在一起


底层存储结构如下，行式存储是存储玩一行，接着存储下一行，而列式存储是把一列数据存储在一起，由于列数据不存在一列存完了的概念，所以列数据与列数据之间不是紧挨着的，而是相互分离的。





优缺点

行式存储
优点

  • 随机读效率高
  • 优秀的事务支持


缺点

  • 需要维护大量索引，存储成本较高
  • 不能线性扩展


列式存储
优点

  • 当列中有数据重复时，会进行压缩，存储成本较低
  • 当查询多列数据时，由于不同的列是分开存储的，可以并行查询，提供查询效率


缺点

  • 事务支持的不好


应用场景

行式存储

  • 表与表之间有关联，需要连表查询
  • 需要联机事务处理
  • 查询需求大于存储需求


列式存储

  • 经常只访问某几列的数据时
  • 对数据压缩和线性扩展有要求的时
  • 存储需求大于读取需求时


总结，行式存储  适合OLTP(联机事务处理)场景，列式存储适合 OLAP(联机事务分析)场景

说明
上面对行式存储与列式存储的介绍是从比较宽泛的角度出发的，并不是说 HBase 是列式存储，它的内部设计就跟上面的完全一样。行式存储与列式存储更多的是两种存储思想。具体的实现，不同的产品有自己的实现方式。
HBase 的列族式存储
HBase 更像是列族式数据库而不是列式数据库

列族
列族在 HBase 官方术语中叫 Columns Family ，也有人它为列簇
什么是列族，其实在我们日常工作中经常使用过列族，比如我们有一张职工档案表，如图


其中 基本信息、工作信息就是列族，而姓名、性别、年龄则是归属在基本信息这个列族下的列。
注意，日常工作中我们会将一张表的列设计成多层，比如上面的工档案表，基本信息可能还会分为个人基本信息和家庭基本信息，但是 HBase 只支持两层结构

HBase 的表由多个列族构造，每个列族又可以有若干个列，列族是 HBase 表的组成部分，而列不是，因此，创建表的时候，可以不声明列，但是不能不声明列族！

列族需要在创建表时就定义好，并且修改的不能太频繁，数量也不能太多，理论上是限制在几十个，但是实际中可能会更少。列族的名称必须是由可打印的字符组成，这个是与其他的值或名字的命名规范显著不同的地方。

Hbase 为什么要使用列族
一行数据有若干列组成，若干列又构成一个列族（column family），这不仅有助于构建数据的语义边界或者局部边界，还有助于给他们设置某些特性（如压缩），或者指示他们存贮在内存中，一个列族的所有列存贮在同一个底层的存储文件中。
列族设置
Hbase 的访问控制、磁盘和内存的使用统计都是在列族层面进行的，所以设计列族时一般是把相关的列或者是需要经常访问的列放在一起，组成列族，这样后期访问数据时会快速一些！

HBase 的列
HBase 的列属于某一个列族，列名使用列族名作为前缀，列可以再创建表时声明，也可以再表创建好后动态添加!
不同于列族需要先创建才能使用，列则灵活的多，可以在插入数据的时候指定

HBase 的表

Table = RowKey + Family + column + Timestamp + Value
HBase 的表由多个列族(Family) 构造，每个列族又可以有若干个列(column),HBase 的表每条数据都有一个行键(RowKey),行键是该条数据在表中是唯一标示，类似于关系型数据库中的主键，列中的每一个数据还有一个时间戳/版本号(Timestamp),HBase 支持多版本，当你开启多版本支持后，列中的数据发送变化时，旧数据会被保留，新旧数据通过一个时间戳作为区分，因此也可以理解为 Timestamp 是该数据的版本号！
除了存储历史数据，HBase 也是支持对列数据进行查询操作的

HBase 的存储结构
之前把 HBase 归类为列式存储，那是从外在功能表现层面分类的，如果从内部存储层面来分类的话， HBase 应该归类为 key value 型数据库
(Table,RowKey,Family,column,Timestamp) -> Value

在存储时，每个值的key由 表名、列族名、列名、行键和版本号组成

HBase 列的数据版本
HBase 列的数据支持多个版本，默认是3个
还是以职工档案表为例子


第一次插入插入了姓名、年龄、2个字段，在底层，他们是2个key value 键值对，并且每个键都有一个时间戳/版本号(Timestamp)
第二次补充了工资字段，并对应一个新的时间戳 t3
第三次更新了年龄字段，并对应新时间戳 t4
这条数据虽然有三个版本，但是它们都对应同一个 RowKey
现在再来看这条数据，姓名只有一个版本 t1 -> 张三，年龄有两个版本 t2 -> 22、t4 -> 23 ，工资只有一个版本 t3 -> 1000, 当查询数据时，默认展示列最新版本的数据，也就是说，我们查询 RowKey =1 时，结果为 张三 23 1000

数据存储原型
HBase 是通过如下的数据结构维护数据的

SortedMap<
    RowKey,List<
        SortedMap<
            Column,List<value,Timestamp>
        >
    >
>


第一个 SortedMap 是对 RowKey 进行排序，第二个 SortedMap 是对 Column 进行排序
ps：之前不是说 HBase 底层采用 key value 键值对的结构存储吗，现在怎么又变成来了这种数据结构？
其实这只是 HBase 的数据在不同抽象层次上的表现形式，就向任何数据在硬盘上最终都变现为连续或不连续的0、1一样，所以既可以说 HBase 是 key value 型的数据结构，也可以说他是这种带层级的数据结构！

HBase 表
HBase 建表语句

create '命名空间:表名',
{
NAME => '列族名1',
VERSIONS => '版本数量',
EVICT_BLOCKS_ON_CLOSE => 'false',
NEW_VERSION_BEHAVIOR => 'false',
KEEP_DELETED_CELLS => 'FALSE',
CACHE_DATA_ON_WRITE => 'false',
DATA_BLOCK_ENCODING => 'NONE',
TTL => '生存时间，单位秒，FOREVER 表示永不过期',
MIN_VERSIONS => '0',
REPLICATION_SCOPE => '复制范围',
BLOOMFILTER => 'ROW',
CACHE_INDEX_ON_WRITE => 'false',
IN_MEMORY => 'false',
CACHE_BLOOMS_ON_WRITE => 'false',
PREFETCH_BLOCKS_ON_OPEN => 'false',
COMPRESSION => '数据压缩算法，hbase 中常用的为 SNAPPY',
BLOCKCACHE => 'true',
BLOCKSIZE => '65536'
},
{
NAME => '列族名2',
VERSIONS => '1',
EVICT_BLOCKS_ON_CLOSE => 'false',
NEW_VERSION_BEHAVIOR => 'false',
KEEP_DELETED_CELLS => 'FALSE',
CACHE_DATA_ON_WRITE => 'false',
DATA_BLOCK_ENCODING => 'NONE',
TTL => 'FOREVER',
MIN_VERSIONS => '0',
REPLICATION_SCOPE => '0',
BLOOMFILTER => 'ROW',
CACHE_INDEX_ON_WRITE => 'false',
IN_MEMORY => 'false',
CACHE_BLOOMS_ON_WRITE => 'false',
PREFETCH_BLOCKS_ON_OPEN => 'false',
COMPRESSION => 'NONE',
BLOCKCACHE => 'true',
BLOCKSIZE => '65536'
}


也可以使用以下简洁的语句创建表
create '命名空间:表名','列簇1','列簇2'

这样创建出来的表，列簇各属性的默认值如下

{
NAME => '字段名(没有默认值)',
VERSIONS => '1',
EVICT_BLOCKS_ON_CLOSE => 'false',
NEW_VERSION_BEHAVIOR => 'false',
KEEP_DELETED_CELLS => 'FALSE',
CACHE_DATA_ON_WRITE => 'false',
DATA_BLOCK_ENCODING => 'NONE',
TTL => 'FOREVER',
MIN_VERSIONS => '0',
REPLICATION_SCOPE => '0',
BLOOMFILTER => 'ROW',
CACHE_INDEX_ON_WRITE => 'false',
IN_MEMORY => 'false',
CACHE_BLOOMS_ON_WRITE => 'false',
PREFETCH_BLOCKS_ON_OPEN => 'false',
COMPRESSION => 'NONE',
BLOCKCACHE => 'true',
BLOCKSIZE => '65536'
}

hbase 数据压缩
在建表时，可以给列族设置 COMPRESSION 属性以开启该列族的数据压缩（数据压缩是以列族为单位的）。这是一种用 CPU 时间换 IO速度和存储空间的方式。

COMPRESSION 属性有以下枚举值

'NONE' : 不开启数据压缩
'GZ' : 即 GZIP ,压缩率比 Snappy、LZO 高，对应的，压缩解压时占用的 CPU 资源也更多。推荐用于不经常访问的冷数据
'LZO' : 与 GZIP 相比压缩率虽然不高，但使用的 CPU 资源更少，推荐用于经常访问的热数据，在2011 年 Google 推出 Snappy 之前，LZO 是默认推荐的设置
'SNAPPY' :Snappy 具有与 LZO 相似的质量，但表现得更好，推荐用于经常访问的热数据。是目前默认推荐的设置
'LZ4' : 与 LZO 相比，LZ4 的压缩率和 LZO 的压缩率相差不多，但是 LZ4 的解压 / 压缩速度更快

通常，您需要在较小的尺寸和更快的压缩/解压缩之间权衡选择，大多数情况下，默认情况下启用 Snappy 是一个不错的选择。

HBase 数据存储的目录结构
我们搭建 HBase 数据库的是时候需要指定数据存储的路径

hbase-site.xml
<property>
    <name>hbase.rootdir</name>
    <value>/hbase</value>
</property>

上面的 /hbase 就是数据存储的目录，hbase 会在该目录下创建一系列目录，它们主要有

/.tmp : 当对表做创建或删除操作的时候，会将表移动到 /.tmp 目录下做操作。它存储的是临时需要修改的数据结构。
/WALs : 预写日志目录，它里面是被 Hlog 实例管理的 WAL 文件
/archive : 存储表的归档与快照。hbase 在分割或合并完成后，会将 Hfile 文件 移到到该目录中，然后将原来的 Hfile 删除掉，这个操作是由 master 上的一个定时任务定期去处理
/corrupt : 存储的是损坏的日志文件，一般为空，如果不为空，说明 HBase 出了一些问题
/data : HBase 数据存储的核心目录，用于存储系统表和用户表的数据
/hbase.id :  存储着 hbase 启动之后，该实例在集群中的唯一标示
/hbase.version :  集群文件格式的版本信息，即 HFile 文件的版本信息
/oldWALs  : 当 /WALs 目录中的 log 文件被持久化到存储文件中后，该日志文件会被移动到该目录中，并等待删除

说完了顶层目录，在来说一下 /data 目录，假如我们创建了一张名叫 test 表，存储在默认的 defaut 命名空间中，则 目录结构如下






HBase 架构


如上图，HBase  主要由这几块组成

region server ：负责 HBase 数据的存储和管理
zookeeper : 存储 meta 表
master : 管理 region server  和 zookeeper 中的 meta 表
client : 通过 zookeeper 中的 meta 表，找到需要访问的 region server 的地址和端口号

HBase 元信息表
HBase 元信息表被称为 Mete Table ，它本身也是一张 HBase 表，所以它也有 Row Key 、列族等。Mete Table 中存储着系统中所有的 region 信息。region 是 HBase 中一个很重要的概念，它是存储用户数据的最基本单元，在之后的章节中会详细介绍。
Mete Table 存储在 ZooKeeper 上，客户端需要先访问 ZooKeeper 上Mete Table 找到数据所在的  region  地址后，在访问  region 。
meta 表结构如下



meta 表只有一个列簇 — info，它有4个列

regionInfo ：当前 region 的 startKey 与 endKey，name 等信息
server：region 所在服务器及端口
serverStartCode：region server 的开始时间
seqnumDuringOpen：

值得说明的是 Row key ，它的格式为 TableName,StartKey,Timestamp.EncodedName
TableName：表名称
StartKey：表示当前 表 的 region 中存储的第一个 rowkey。如果这个地方为空的话，表明这是 table 的第一个 region。并且如果一个 region 中 StartKey 和 EndKey 都为空的话，表明这个 table 只有一个 region；
Timestamp：Region 创建的时间戳；
EncodedName：TableName,StartKey,Timestamp 字符串的 MD5 Hex 值。
当 region 发送变化时（region挂掉、region 分隔、region 合并等）HBase 的 master 服务会更新 Mete Table 。
Mete Table 相当于 hbase 表的顶级索引。


HBase 中的 LSM 存储思想

LSM
日志结构合并树 (Log-Structured Merge-Tree , LSM)，并不属于某一个具体的数据结构，一般是由两个以上的数据结构组成的，并且每一个数据结构对应不同的存储介质。

举例说明，假设有这样一种 LSM ，它有两种数据结构 c0 、c1，其中 c0 存储在内存介质中，c1 存储在磁盘介质中。当有数据插入时，先暂存在 c0 中以获得更好的存储性能，当 c0 中的数据达到预设阈值时，再将数据全部持久化到c1。

这种两层的 LSM 一般都是一层数据结构存储在内存中，另一层数据结构存储在硬盘中。当然 LSM 不一定非要设计成两层，也可以设计成三层，比如 c0、c1、c2 分别存储在内存、硬盘、硬盘中，其中 c2 是对 c1 的聚合归档。
LSM 更多是一种数据结构的设计思想， 可以根据具体情况自由调整。


HBase 中的 LSM 存储实现

HBase 采用三层 LSM 存储结构


第一层 : 内存和日志
为了提高随机写性能，当用户数据到达 region server 时，不会直接写入磁盘中，而是先写入日志和内存中，写入日志中是防止内存断电等情况造成数据丢失。

第二层 : 硬盘
当内存中的数据量达到阈值，异步线程将数据刷写到硬盘上，形成 storeFile 文件

第三层 : 硬盘
随着不断的刷新，硬盘中的小文件越来越多，这不利于管理和随机查询，在合适的时机时，启动线程对小文件执行合并操作形成一个大文件。 

 
000X000
关注
  • 1
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
HBase原理－数据读取流程解析
02-25
和写流程相比，HBase读数据是一个更加复杂的操作流程，这主要基于两个方面的原因：其一是因为整个HBase存储引擎基于LSM-Like树实现，因此一次范围查询可能会涉及多个分片、多块缓存甚至多个数据存储文件;其二是因为...
Hbase基本原理剖析
热门推荐
weixin_43114209的博客
07-21 2万+
每个Region包含了表中一段RowKey区间范围内的数据，HBase的一张数据表开始只包含一个Region，随着表中数据的增多，当一个Region的大小达到容量上限后会分裂成两个Region。为了提升数据操作的效率，HBase Client会在内存中缓存“hbase:meta”和用户表Region的信息，当应用程序发起下一次数据操作时，HBase Client会首先从内存中获取这些信息；上图 RegionServer的数据存储结构中Region的各部分的说明如表 Region结构说明所示。
HBase高阶（一）基础架构及存储原理
five小点心的博客
09-25 2309
HBase是Hadoop生态系统中的一个分布式、面向列的开源数据库，具有高可伸缩性、高性能和强大的数据处理能力。广泛应用于处理大规模数据集。HBase是一种稀疏的分布式持久的多维排序map稀疏：对比关系型数据库和非关系型数据库，关系型数据库是以表格的形式进行存储，对存储的要求较高，每一行每一列都需要预留对应的存储空间，这就会造成存储空间的浪费。分布式：海量数据保存在多台机器上。持久化：将内存中的对象存储在数据库中，或者存储在磁盘文件中。多维：noSQL数据库的本质是KV结构。
总结：HBase原理篇
w2009211777的专栏
01-13 4038
HBase是列式数据库，底层基于LSM数据结构进行存储，因此写入性能很强，读取性能较差。关于LSM的详细信息可以阅读文章： https://cloud.tencent.com/developer/news/340271 一、什么是列式数据库？ 详情看下：https://blog.csdn.net/coderising/article/details/100021718 列式数据库是针对行数据库而言的，行式数据库是以一行数据作为一个存储单元，而列式数据库是以一列数据为一个存储单元，针对hbase来说，
HBase数据库是怎样存储数据的？
zy1992As的博客
02-16 1797
4.MemStore中存储的是用户写入的数据，一旦MemStore存储达到阈值时，里面存储的数据就会被刷新到新生成的StoreFile中(底层是HFile)，该文件是以HFile的格式存储到HDFS上，具体如图4所示。2.每个Region存储的数据是有限的，如果当Region增大到一个阀值(128)时，会被等分切成两个新的Region，切分方式如图2所示。1.HBase表的数据按照行键RowKey的字典序进行排列，并且切分多个HRegion存储，存储方式如图1所示。​ 图1 Region在行方向上的存储。
轻松理解Hbase面向列的存储
foreveyking的博客
12-03 2924
Hbase列存储原理
HBase海量数据存储实战视频教程
10-21
从HBase的集群搭建、HBaseshell操作、java编程、架构、原理、涉及的数据结构，并且结合陌陌海量消息存储案例来讲解实战HBase 课程亮点 1，知识体系完备，从小白到大神各阶段读者均能学有所获。 2，生动形象，化繁为...
Hbase架构与原理
02-25
HBase是ApacheHadoop中的一个子项目，Hbase依托于Hadoop的HDFS作为最基本存储基础单元，通过使用hadoop的DFS工具就可以看到这些这些数据存储文件夹的结构,还可以通过Map/Reduce的框架(算法)对HBase进行操作HBase是...
Hbase原理分享
01-27
综上所述，HBase是一种适合大规模、高并发、实时读写的NoSQL数据库，它的设计理念和架构使其在大数据场景下表现出色，尤其在处理稀疏、列式存储和多版本数据时有明显优势。通过理解其原理和数据模型，我们可以更好地...
Hbase存储方式
qq_41848129的博客
08-19 4088
Hbase概念 HBase是一个分布式的，面向列的数据库它介于nosql和RDBMS之间，仅能通过主键(row key)和主键的range来检索数据，仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。主要用来存储非结构化和半结构化的松散数据。与hadoop一样，Hbase目标主要依靠横向扩展，通过不断增加廉价的商用服务器，来增加计算和存储能力。 　　Hbase中的表一般有这样的...
大数据技术之HBase（二）HBase原理简介
five小点心的博客
03-07 2884
HBase 是一种分布式、可扩展、支持海量数据存储的 NoSQL 数据库非结构化数据存储的数据库，基于列的模式存储。利用Hadoop HDFS作为其文件存储系统，写入性能很强，读取性能较差。利用Hadoop MapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。关系型数据库存储数据是以表格的形式存储，非关系型数据库是以进行存储。通过进行存储，当在用key读取value的时候，效率更高，速度更快，使用起来更灵活。划重点：HBase。
Hbase存储详解
chuanjiaoye5017的博客
11-28 417
Hbase存储详解 　　started by chad walters and jim 　　2006.11 G release paper on BigTable 　　2007.2 inital Hbase prototype created as Hadoop contrib 　　2...
5分钟图解Hbase列式存储
码农翻身
12-29 4235
作者 | 李新杰来源 | 微信公众号“编程新说”行式存储传统的数据库是关系型的，且是按行来存储的。如下图：其中只有张三把一行数据填满了，李四王五赵六的行都没有填满。因为这...
ClickHouse的实时数据处理：ClickHouse在实时数据处理场景中的应用
最新发布
禅与计算机程序设计艺术
01-28 963
1.背景介绍 1. 背景介绍 ClickHouse 是一个高性能的列式数据库，旨在处理实时数据。它的设计目标是提供低延迟、高吞吐量和高可扩展性。ClickHouse 广泛应用于实时数据分析、监控、日志处理等场景。 在大数据时代，实时数据处理变得越来越重要。传统的数据库无法满足实时性要求，因此需要寻找更高效的解决方案。ClickHouse 正是为了满足这一需求而诞生的。 本文将深入探讨 Cl...
浅谈行式存储和列式存储
ergouy's blog
09-17 1559
摘要 本文主要对行式存储和列式存储原理做简单的分析，行式存储以mysql的Innodb 引擎和 Myisam 引擎为例，列式存储以parquet为例，最后对各自的优劣势总结。 一 总览 二 行式存储 三 列式存储
列式存储
acethan的博客
04-23 1233
OLAP中数据存储的问题 OLAP 需要队列进行选择，行式存储按行存数据，使用索引加快对数据的查找（索引包括聚集索引（表记录的排列顺序与索引的排列顺序一致）和非聚簇索引（非聚集索引指定了表中记录的逻辑顺序，但记录的物理顺序和索引的顺序不一致））。这种方式对按列的存储和检索不是很高效，查询某一列数据需要将所有行的数据扫描一次，而且对统计分析也不友好。 列式存储原理 若使用列式存储可以只用扫描出需要的列，行、列存储的对比。 文件格式 parquet 文件格式： 如下图所示：parquet file = hea
HBase：海量数据分布式存储系统详细介绍
Java搜索工程技术栈
05-29 4653
1 HBase 浅析 1.1 HBase 是啥 HBase是一款面向列存储，用于存储处理海量数据的NoSQL数据库。它的理论原型是Google的BigTable论文。你可以认为HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。 HBase的存储是基于HDFS的，HDFS有着高容错性的特点，被设计用来部署在低廉的硬件上，基于Hadoop意味着HBase与生俱来的超强的扩展性和吞吐量。 HBase采用的是key/value的存储方式，这意味着，即使随着数...
MergeTree原理详解之数据存储
喜讯XiCent 的博客
12-20 1044
前面我们讲解了MergeTree引擎索引的原理，但是仅仅依靠索引，并不能支撑ClickHouse如此强悍的性能。这篇文章将为你解决以下问题，数据在底层具体是如何存储，怎么根据索引编号找到对应的数据。 列独立存储 说到存储，大部分MPP数据库都是用的同一种思想，即列式存储。ClickHouse也不例外。 在MergeTree中，数据按照列存储，注意哦，是完全列式存储，每个列字段都拥有一个与之对应的.bin文件，这些文件承载着数据的物理存储。数据文件以分区目录的形式被组织存储，在bin文件中只会保存当前分区.
HBase分布式存储解析：工作原理与优势
"HBase的工作原理及使用介绍" HBase是一个基于Hadoop的开源非关系型分布式数据库（NoSQL），设计用于处理大规模数据集。它利用Hadoop的分布式文件系统（HDFS）作为底层存储，提供了高可靠性、高性能、列式存储和可...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值