HBase技术原理

• HBase的介绍

存储海量的，任何数据类型 byte[](可以存任何数据类型)，低延时，随机访问，处理海量数据，面向列的数据库，实时读写的分布式数据库系统。

实时计算：flink  spark

• 有关Hbase

1. 是以HDFS为底层的数据存储，也是依赖于MapReduce作计算。
2. 不支持join
3. 以字节数组（byte[]）来存储数据
4. 设置稀疏，null的列，不占存储空间

• HBase表的结构

Rowkey 行键

列族（簇）包 含一组列，注：列族不能设置太多。

时间戳：不同的版本，由近及远

查询数据：学生表--姓名为lili

表----rowkey----列族-----列-----时间戳

• HBase架构介绍

 

HRegionServer-----对应服务器

HRegion--------表（子表）

Store---------列族

HFile---------对应的数据文件

• Client

1读写文件

2 缓存已经访问过的文件，加快后续的访问。

• Zookeeper

1  选举HMaster,--------避免单点故障

2  存储Hbase的schema信息，即有哪些表，表里有哪些列族。

 

3 监控HRegionServer的状态，实时通知给HMaster

• HMaster

1  为HRegionServer分配Region

2  负责HRegionServer的负载均衡

3   负责表的创建，删除，修改，添加列族

(四)HRegionServer

1 响应client请求

2 维护自己的HRegion

• HRegion

HBase把一个表分为若干个HRegion[startkey,endkey],会被HMaster分配到不同的HRegionServer上面，如果一个Region超过256M，会split分两个。

• Store-----列族

每一个HRegion有一个或多个Store组成，每个列族建立一个Store,有几个列族就有几个Store.

• MemStore

 内存，存大量的热数据（访问频率高的）-----所以HBase才支持随机，高速读取。

• StoreFile

是表数据真实存放的地方

• HFile

是以key-value的形式存储，是二进制的，一个StoreFile对应一个HFile

(十)HLog

存储了用户对表的更新的一些日志记录，当RegionServer故障时，而memStore中的数据尚未flush到磁盘上，这时就回放Hlog的数据