hbase简介

         上周介绍了Mysql索引,我们知道一个完整的记录是保存在一个page中的连续的空间，类似如下图

具体一个表包含了哪些字段、每个字段类型、长度等，都是在表定义的时候确定的。后续需要新增字段、修改字段类型等，那么代价是很大的，需要做很多的空间腾挪和数据的复制。 

 

          今天介绍的hbase就是没有这么多的约束了。

 

 

一 基本概念

rowKey：这个用来标示一条记录的，一般有几个字段按照特定的规则组合而成的，这个的设计比较重要，他决定了后面这个表的数据的均衡、查询效率等。 

 

列簇：简单的讲，就是一些列的组合，比如用户信息表中，我们比如用户基本信息，这个包含id、姓名等最重要的信息，这里基本信息就可以理解为一个列簇。 

 

列：这个没有什么特别，就不说了

 

版本：如果在mysql中，一个字段被更新了，那么值就找不到了，除非你通过其他的存储备份了；但是在hbase中，允许保存多份数据，具体多少份在建表的时候指定，一般使用更新时时间戳来表示版本。

 

 

二  表结构

有了上面的概念，hbase表结构如下图

但是在实际存储中，他是通过kv的格式存储的，其中：

key: rowkey+columnFamily+cloumn+version组成

value:就是具体的值

比如上面的用户存储如下图：

这些数据最终会存在Hfile中。

 

三 整体结构

借用一张图

 

HMaster：负责管理HRegionServer以实现负载均衡，负责管理和分配HRegion(数据分片)，还负责管理命名空间和table元数据，以及权限控制

 

HRegionServer：负责管理本地的HRegion、管理数据以及和hdfs交互。

 

Zookeeper：负责集群的协调(如HMaster主从的failover)以及集群状态信息的存储

 

客户端：传输数据直接和HRegionServer通信

 

对于hbase而言，整个系统的核心还是在HRegionServer，所以下面重点介绍下 

 

四 HRegionServer介绍

整个HRegionServer有一个HLog和若干个HRegion组成的

 

HLog: 这个类似mysql中的binlog,记录了所有的写操作，万一系统down了，可以从这个文件中去恢复数据

 

HRegion:  这个对应表的维度，里面存储了一个表的一段区间的数据。他主要有若干个Store组层

 

Store: 这个对应了表的列簇维度，他有一个memstore和若干个storefile组成。 其中memstore中包含了刚写入hbase中的数据，而storefile按照LGM树组织。

 

五 过程分析

 

写过程：

1.  客户端通过HMaster确定写入的数据需要到哪个HRegionServer

2.  客户端把请求发送到HRegionServer

3.  在HRegionServer中，把数据写入HLog中，然后根据表名和列簇定位到具体的store中，然后把数据写入到memstore中，当memstore超过设定的大小，就会写入磁盘，形成storefile。当同层storefile数量超过阈值，就会触发storefile合并。 

    

    

 

 

读过程：

 

1.  客户端通过HMaster确定读取的数据需要在哪些HRegionServer

2.  客户端把请求发送到所有的HRegionServer

3.  在HRegionServer中，从store中进行数据的查找定读取目标数据。 

 

 

storeFile合并

为什么需要合并：一是我们新写入的数据，一开始在memtable中的，后面会刷到磁盘中，这个时候会出现多个storefile，尽管每个文件内部是有序的，但是相互之前存在交叉，在查询时候需要访问多个文件，影响查询效率。 第二是有些数据因为被删除或者过了ttl，需要对他们进行删除，否则浪费空间，影响查询效率。 

 

过程很简单，打开需要合并的文件，因为本身就是有序的，所有只要比较当前读取位置的数据，过滤掉无效的，把最小的数据写入新的文件，最小数据所在的文件读取位置往后移动。 
 

六 总结
 

优点：

 

1、海量存储：HMaster把有序数据分成多个段，分别存储到不同的HReginServer上。 底层文件存在hdfs上，可以实现海量数据存储。 

 

2、高效查询：利用LGM树和 storeFile，实现数据在磁盘上的有序存储，能够高效的实现查询和scan操作

 

3、高效写入：写入时候，主要写入HLog和memtable，前者是磁盘append，后者是内存，所以速度很快，支持高并发。 

 

4、节省空间：采用列式存储，对于空的字段，不需要浪费空间，特别适合稀疏的数据。 

 

缺点：

 

1、单维度查询：因为按照 rowkey存储，查询时候只能是按照rowkey或者其前缀进行查询，如果需要其他维度就没发实现。这个有点类似我们分库、分表，只能按照分的字段进行查询。 之前有人在搞二级索引，这个是个思路，不清楚现在搞怎么样了，有空也学习下。 

 

2、抖动：因为合并会有大量的磁盘读取和写入操作，所以会出现抖动，这也导致了hbase没发用到高要求的业务场景。 

想交流或者疑问的，可以关注我们的公众号