HBase 坚实基础

1. 深入理解 HBase 架构图

Region内部结构:

2. HBase中各个组件详解

1. Client：
   — 1. Client先访问zookeeper，获取hbase:meta表位于哪个RegionServer；2. 访问RegionServer 获取hbase:meta表；读请求namespace:table/rowkey，查出属于位于哪个Region中；3. 将该table的region信息以及meta表的位置信息缓存在客户端的meta cache，方便下次访问。

2. Zookeeper：
   — 1. 保证集群中只有1个master在运行； 2. 监控RegionServer状态，异常时以 回调形式通知Master, RegionServer上下线信息； 3. 保存Mester数据的存储地址.

3. Hmaster(NameNode)：
   — 1. 为RegionServer分配Region； 2. 维护整个集群的负载均衡； 3. 维护集群的元数据信息； 4. 发现失效的Region，并将失效的Region分配到正常的RegionServer上； 5. 当RegionSever失效的时候，协调对应Hlog的拆分。

4. HregionServer(DataNode)：
   — 1. 管理分配的Region； 2. 处理来自Clientd的读写请求； 3. 与底层HDFS交互，存储数据到HDFS； 4. Region过大后进行拆分； 5. StoreFile文件的合并.

5. HDFS：
   — 1. HBase提供高可用（Hlog存储在HDFS）的支持； 2. 后面的Spark 运行在Yarn集群上，也是需要HDFS提供服务.

6. Write-Ahead logs(WAL)：
   — 1. 预写日志，HBase对数据进行读写时，先保留在Memstore内存中一段时间，随后落地磁盘。

7. StoreFile：
   — 1. Region中包含一个或多个StoreFile，一个StoreFile里面对应包含一个列族的数据，若一张表中有两个列族，则Region中则有两个StoreFile；

8. Memstore：
   — 1. 是一个内存级别的存储，一个列族Store对应一个MemStore，MemStore存储的是Key/Value键值对形式。 2. 数据到达阈值后才会（flush）到HFile中。

9. HFile：
   — 1. hfile是Hadoop的二进制格式文件, StoreFile就是对HFile做了轻量级包装。

10. BlockCache：
    读缓存，每次查询出的数据会缓存在BlockCache中，方便下次查询

11. 补充：HFile 内部结构图
    
    Data：数据块，保存表中的数据（可被压缩）
    Meta（Optioal）：元数据块，保存用户自定义的 kv 对（可被压缩）
    FileInfo：HFile的元数据信息，用户也可以在这一部分添加自己的元信息。
    Data Index：存储Data块索引信息的块文件，每条索引的key 是被索引的 block 的第一条记录的 key。
    Meta Index：存储Meta块索引信息的块文件
    Trailer：它存储了FileInfo、DataIndex、MetaIndex块的偏移值和寻址信息。

3. HBase 数据结构

关键字：
RowKey（行键）：Rowkey相当于SQL中的主键，可以是任意字符串(最大长度是 64KB）。
HBase中的三种查询方式：
1、基于Rowkey的单行查询
2、基于Rowkey的范围扫描
3、全表扫描 Row key行键
.
Column（列）：基本的存储单位，一个或者多个列形成列族。 ColumnFamily（列族）。
列比较灵活，不需要定义。但是在定义列名的时候，需要加上列族作为前缀。
官方建议：越少越好！！！因为太多列族没有必要，列族太多会极大降低数据库性能，容易出现Bug。

.
Cell（单元格）： { rowkey:column family:column:version }
一个列上可以存储多个版本的值，多个版本的值存储在多个单元格里面，
多个版本之间通过版本号（Version）来区分
.
Time Stamp（时间戳）：timestamp=1602496931040
.
详细实际操作 可看 <HBase 基本操作文章.> 链接: link.
<HBase API 操作> 看看这篇文章 链接: link.