HBase学习笔记

---

一、HBase是什么

一种分布式、可扩展、支持海量数据存储的 NoSQL 数据库

二、HBase逻辑结构

• Row Key为字典序排列
• Region为横向切分的分片，图中有3个Region
• store是真正要存的东西，图中有6块，他们才是存储在文件中的

三、HBase物理结构-store的存储方式

四、HBase数据模型

名称	解释
Name Space	命名空间，类似于关系型数据库的 Schema 概念，每个命名空间下有多个表。HBase 有两个自带的命名空间，分别是 hbase 和 default，hbase 中存放的是 HBase 内置的表， default 表是用户默认使用的命名空间。
Region	类似于关系型数据库的表概念。不同的是，HBase 定义表时只需要声明列族即可，不需要声明具体的列。这意味着，往 HBase 写入数据时，字段可以动态、按需指定。因此，和关系型数据库相比，HBase 能够轻松应对字段变更的场景。
Row	HBase 表中的每行数据都由一个 RowKey 和多个 Column(列)组成，数据是按照 RowKey 的字典顺序存储的，并且查询数据时只能根据 RowKey 进行检索，所以 RowKey 的设计十分重要。
Column	HBase 中的每个列都由 Column Family(列族)和 Column Qualifier(列限定符)进行限 定，例如 info:name，info:age。建表时，只需指明列族，而列限定符无需预先定义。
Time Stamp	用于标识数据的不同版本(version)，每条数据写入时，如果不指定时间戳，系统会自动为其加上该字段，其值为写入 HBase 的时间。
Cell	由{rowkey, column Family:column Qualifier, time Stamp} 唯一确定的单元。cell 中的数 据是没有类型的，全部是字节码形式存贮。

五、HBase基础架构

名称	解释
Region Server	Region Server 为 Region 的管理者，其实现类为 HRegionServer，主要作用如下: 对于数据的操作:get, put, delete;对于 Region 的操作:splitRegion、compactRegion。
Master	Master 是所有 Region Server 的管理者，其实现类为 HMaster，主要作用如下: 对于表的操作:create, delete, alter。对于 RegionServer 的操作:分配 regions 到每个 RegionServer，监控每个 RegionServer的状态，负载均衡和故障转移。
Zookeeper	HBase 通过 Zookeeper 来做 Master 的高可用、RegionServer 的监控、元数据的入口以及集群配置的维护等工作。
HDFS	HDFS 为 HBase 提供最终的底层数据存储服务，同时为 HBase 提供高可用的支持。

六、HBase详细架构

• HMaster将一部分功能交给ZK让其分担[这导致了写API的时候连接ZK就可以]
• HLog预写入日志，相当于HDFS里面的iedits，实时写入到DN

名称	解释
StoreFile	保存实际数据的物理文件，StoreFile 以 HFile 的形式存储在 HDFS 上。每个 Store 会有一个或多个 StoreFile(HFile)，数据在每个 StoreFile 中都是有序的。
MemStore	写缓存，由于 HFile 中的数据要求是有序的，所以数据是先存储在 MemStore 中，排好序后，等到达刷写时机才会刷写到 HFile，每次刷写都会形成一个新的 HFile。
WAL	由于数据要经 MemStore 排序后才能刷写到 HFile，但把数据保存在内存中会有很高的概率导致数据丢失，为了解决这个问题，数据会先写在一个叫做 Write-Ahead logfile 的文件中，然后再写入 MemStore 中。所以在系统出现故障的时候，数据可以通过这个日志文件重建。

七、HBase数据流程

1.写流程

1～2. Client 先访问 zookeeper，获取 hbase:meta 表位于哪个 	Region Server。
3～5. 访问对应的 Region Server，获取 hbase:meta 表，根据读请求的 namespace:table/rowkey， 查询出目标数据位于哪个 Region Server 中的哪个 Region 中。并将该 table 的 region 信息以及 meta 表的位置信息缓存在客户端的 meta cache，方便下次访问。
6. 与目标 Region Server 进行通讯
7. 将数据顺序写入(追加)到 WAL
8. 将数据写入对应的 MemStore，数据会在 MemStore 进行排序
9. 向客户端发送 ack
10. 等达到 MemStore 的刷写时机后，将数据刷写到 HFile[图中未标出数字]，这里就是flush流程

2.读流程

1. Client 先访问 zookeeper，获取 hbase:meta 表位于哪个 Region Server。
2. 访问对应的 Region Server，获取 hbase:meta 表，根据读请求的 namespace:table/rowkey， 查询出目标数据位于哪个 Region Server 中的哪个 Region 中。并将该 table 的 region 信息以 及 meta 表的位置信息缓存在客户端的 meta cache，方便下次访问。
3. 与目标 Region Server 进行通讯
4. 分别在 Block Cache(读缓存)，MemStore 和 Store File(HFile)中查询目标数据，并将查到的所有数据进行合并。此处所有数据是指同一条数据的不同版本(time stamp)或者不同的类型(Put/Delete),这里就是compact流程。
5. 将从文件中查询到的数据块(Block，HFile 数据存储单元，默认大小为 64KB)缓存到 Block Cache
6. 将合并后的最终结果返回给客户端。