逻辑上,HBase的数据模型同关系型数据库很类似,数据存储在一张表中,有行有列。
但从HBase的底层物理存储结构(K-V)来看,HBase更像是一个multi-dimensional map。
1. HBase 逻辑架构
2. HBase 概念介绍
2.1 结构概念
-
Namespace
命名空间,类似于关系型数据库的database概念,每个命名空间下有多个表。HBase两个自带的命名空间,分别是hbase和default,hbase中存放的是HBase内置的表,default表是用户默认使用的命名空间。
-
Table
类似于关系型数据库的表概念。不同的是,HBase定义表时只需要声明列族即可,不需要声明具体的列。这意味着,往HBase写入数据时,字段可以动态、按需指定。因此,和关系型数据库相比,HBase能够轻松应对字段变更的场景。
-
Row
HBase表中的每行数据都由一个RowKey和多个Column(列)组成,数据是按照RowKey的字典顺序存储的,并且查询数据时只能根据RowKey进行检索,所以RowKey的设计十分重要。
-
RowKey
行键,类似于关系型数据的主键(PK),所以不能重复,而且存储时应该有序,而且使用的是字符串的字典顺序,升序
-
Column
HBase中的每个列都由Column Family(列族)和Column Qualifier(列限定符)进行限定,例如info:name,info:age。建表时,只需指明列族,而列限定符无需预先定义。
-
ColumnFamily
列族(列的家族),将多个列作为整体使用. 设计表时,这个列族应该是确定的,但是列是不确定的。而且随着业务的发展,可能会增加列。创建表时,需要指定列族,可以通过修改表结构的方式添加,不可以动态添加。
-
Timestamp
用于标识数据的不同版本(version),每条数据写入时,系统会自动为其加上该字段,其值为写入HBase的时间。可以根据指定的条件对数据进行筛选过滤。而且可以用于数据状态的变化。
-
Type
操作类型,Hbase对数据进行了哪些操作,put、delete 等。
-
Cell
由{rowkey, column Family:column Qualifier, time Stamp} 唯一确定的单元。cell中的数据是没有类型的,全部是字节码形式存贮。
2.2 架构概念
-
Region
类似于SparkRDD中和Kafka中的分区概念。需要考虑数据的水平切分(高表),体现了优化的策略
-
RegionServer
Region Server为 Region的管理者,其实现类为HRegionServer,主要作用如下:
对于数据的操作:get, put, delete;
对于Region的操作:splitRegion、compactRegion。 -
Master
Master是所有Region Server的管理者,其实现类为HMaster,主要作用如下:
对于表的操作:create, delete, alter
对于RegionServer的操作:分配regions到每个RegionServer,监控每个RegionServer的状态,负载均衡和故障转移。 -
Store
存储,Hbase将一个列族的数据存储在一起,一个表存在多个列族,那么就会存储在不同的store里
-
Zookeeper
HBase通过Zookeeper来做master的高可用、RegionServer的监控、元数据的入口以及集群配置的维护等工作。
防止Master出现异常情况,无法对RegionServer做操作. HBase默认情况下,含有内置的ZK,但是我们一般使用外置ZK。还包含了Master的管理信息 -
HDFS
HDFS为Hbase提供最终的底层数据存储服务,同时为HBase提供高可用的支持。