HBase数据结构及读写流程原理

数据结构

注意hbase对时间敏感（增删改就是根据时间戳实现的，并不是立刻执行删除数据或者更新数据信息，每次取得最大时间的信息），集群设置时间同步

1. 命名空间
   命名空间相当于mysql 的database。命名空间中包括了表、权限等信息

2. Table
   表（相当于mysql中的表），所有的表都是命名空间的成员，即表必属于某个命名空间，如果没有指定，则在 default 默认的命名空间中

3. RowKey
   与 nosql 数据库们一样,RowKey 是用来检索记录的主键。访问 HBASE table 中的行，只有三种方式：
   通过单个 RowKey 访问
   通过 RowKey 的 range（正则）访问
   全表扫描
   RowKey 行键 (RowKey)可以是任意字符串(最大长度是 64KB，实际应用中长度一般为10-100bytes)，在 HBASE 内部，RowKey 保存为字节数组。存储时，数据按照 RowKey 的字典序(byte order)排序存储。设计 RowKey 时，要充分排序存储这个特性，将经常一起读取的行存储放到一起。(位置相关性)

4. Column Family
   列族：HBASE 表中的每个列，都归属于某个列族。列族是表的 schema 的一部 分(而列不是)，必须在使用表之前定义。列名都以列族作为前缀。例如 courses:history，courses:math都属于 courses 这个列族。列都是插入数据时增加的，不同的数据行可能拥有不同的列

5. Cell
   由{rowkey, column Family:columu, version} 唯一确定的单元。cell 中的数据是没有类型的，全部是字节码形式存贮。

6. Time Stamp
   HBASE 中通过rowkey和columns确定的为一个存贮单元称为cell。每个 cell都保存 着同一份数据的某个版本。版本通过时间戳来索引。时间戳的类型是 64 位整型。时间戳可以由 HBASE(在数据写入时自动 )赋值，此时时间戳是精确到毫秒 的当前系统时间。时间戳也可以由客户显式赋值。如果应用程序要避免数据版 本冲突，就必须自己生成具有唯一性的时间戳。每个 cell 中，不同版本的数据按照时间倒序排序，即最新的数据排在最前面。为了避免数据存在过多版本造成的的管理 (包括存贮和索引)负担，HBASE 提供 了两种数据版本回收方式。一是保存数据的最后 n 个版本，二是保存最近一段 时间内的版本（比如最近七天）。用户可以针对每个列族进行设置。

基于列的数据存储方式

逻辑存储

逻辑上来看HBase的数据结构和关系型数据库的结构类似，有行有列，仅仅多了列族的概念，如下：

物理存储

实际上在HBase中数据是基于列族存储的，且列族中的列是数据插入时定义的，如下图逻辑上的一行数据在HBase中按照列拆分成多行进行存储

1. HBase中每列存储一行数据（一个Cell），且根据时间戳保留了数据的各个版本。
2. 如果某一行数据 没有某一列取值，那么HBase不用存储任何数据，也不会占用任何存储空间。

数据读写过程及原理

数据读取流程

1. Client 先访问 zookeeper，从 meta 表读取 meta表的位置，然后读取 meta 表中的数据。从meta中读取用户表的 region 信息；
2. 根据 namespace、表名和 rowkey 在 meta 表中找到对应的 region 信息；
3. 找到这个 region 对应的 regionserver；
4. 查找对应的 region；
5. 先从 MemStore 找数据，和 BlockCache（StoreFile缓存） 里面读取数据,如果BlockCache中没有读到则到StoreFile中读。
6. MemStore 如果读到了数据，需要和 BlockCache（StoreFile）中的数据做版本对比，取最新版本结果返回给客户端
7. 从 StoreFile 里面读取的数据，先写入 BlockCache，再返回给客户端。

数据写入流程

1. Client 向 HregionServer 发送写请求；
2. HregionServer 将数据写到 HLog（write ahead log）。为了数据的持久化和恢复；
3. HregionServer 将数据写到内存（MemStore）；
4. 反馈 Client 写成功。

数据 flush 过程

1. 当 MemStore 数据达到阈值（默认是 128M，老版本是 64M），将数据刷到硬盘(StoreFile)，将内存中的数据删除，同时删除 HLog 中的历史数据；
2. 并将数据存储到 HDFS 中；每次flush 都会将内存中的数据保存在HDFS上的一个文件中。
3. 在 HLog 中做标记点。

数据合并过程

1. 当数据块达到 4 块（HDFS上同一个Region文件达到四个），Hmaster 触发合并操作，Region 将数据块加载到本地，进行合并；
2. 当合并的数据超过 256M，进行拆分，将拆分后的 Region 分配给不同的 HregionServer管理；
3. 当HregionServer宕机后，将HregionServer上的hlog拆分，然后分配给不同的HregionServer加载，修改.META.；
4. 注意：HLog 会同步到 HDFS。
   转发自 https://blog.csdn.net/zhangxm_qz/article/details/106820815#comments_13023609