HBase概念学习（一）基本架构

注：本文内容均不是原创，但是是我从多篇文章中摘录结合而成，中间也插入了一些我的个人理解  --- 季义钦

参考文献：

1 http://blog.csdn.net/woshiwanxin102213/article/details/17584043

2 http://www.searchtb.com/2011/01/understanding-hbase.html

（一）Hbase简介

HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。

HBase是Google Bigtable的开源实现，类似Google Bigtable利用GFS作为其文件存储系统，HBase利用Hadoop HDFS作为其文件存储系统；Google运行MapReduce来处理Bigtable中的海量数据，HBase同样利用Hadoop MapReduce来处理HBase中的海量数据；Google Bigtable利用 Chubby作为协同服务，HBase利用Zookeeper作为对应。

上图描述了Hadoop EcoSystem中的各层系统，其中HBase位于结构化存储层，Hadoop HDFS为HBase提供了高可靠性的底层存储支持，Hadoop MapReduce为HBase提供了高性能的计算能力，Zookeeper为HBase提供了稳定服务和failover机制。

此外，Pig和Hive还为HBase提供了高层语言支持，使得在HBase上进行数据统计处理变的非常简单。 Sqoop则为HBase提供了方便的RDBMS数据导入功能，使得传统数据库数据向HBase中迁移变的非常方便。

（二）HBase访问接口

1.       Native Java API，最常规和高效的访问方式，适合Hadoop MapReduce Job并行批处理HBase表数据

2.       HBase Shell，HBase的命令行工具，最简单的接口，适合HBase管理使用

3.       Thrift Gateway，利用Thrift序列化技术，支持C++，PHP，Python等多种语言，适合其他异构系统在线访问HBase表数据

4.       REST Gateway，支持REST 风格的Http API访问HBase, 解除了语言限制

5.       Pig，可以使用Pig Latin流式编程语言来操作HBase中的数据，和Hive类似，本质最终也是编译成MapReduce Job来处理HBase表数据，适合做数据统计

6.       Hive，当前Hive的Release版本尚没有加入对HBase的支持，但在下一个版本Hive 0.7.0中将会支持HBase，可以使用类似SQL语言来访问HBase

(三）HBase存储模型

1、先看Hbase中针对一个表的相关基本概念：

RowKey：是Byte array，是表中每条记录的“主键”，方便快速查找，Rowkey的设计非常重要，因为根据rowkey查找数据效率极高。
Column Family：列族，拥有一个名称(string)，包含一个或者多个相关列，创建一个表的时候列族要事先定义并不能动态更改，类似关系数据库的Schema
Column：属于某一个columnfamily，familyName:columnName，每个列族中的列无需事先定义，可动态增加（HBase表动态拓展的关键）
Version Number：类型为Long，默认值是系统时间戳，可由用户自定义
Value(Cell)：Byte array

2、下面来看HBase的逻辑模型：

可以看到每一行都有一个rowkey作为主键唯一标识一行，并且列族是固定的。

同一个列族，但是不同的行，所包含的列并不一样，只存储有值的列。

每一个值可能有多个版本，默认以时间戳作为区分。

所有值都是以字节数组的形式被存储。

为什么Hbase中根据rowkey查找指定表的指定列族的指定列的值很快？

因为HBase 为每个值维护了多级索引，即：<key, column family, column qualifier, timestamp>

即四维坐标定位一个数据单元，如果把这个四维坐标看做一个整体，那么HBase就可以认为是一个键值系统。

当然键也可以变化，如果键是<key, column family, column qualifier>，那么对应的值就是一个集合，这个集合中是该数据单元的多个版本。

如果把<key, column family>看做键，那么值就是集合的集合。。。

3、物理上如何存储（HRegion，Store，MemStore，StoreFile，HFile，HLog）：

(1) Table中所有行都按照row key的字典序排列；

(2) Table按照行被分割为多个Region。当Table随着记录数不断增加而变大后，会逐渐分裂成多份splits，成为regions，一个region由[startkey,endkey)表示，不同的region会被Master分配给相应的RegionServer进行管理。

(3) Region按大小分割的，每个表开始只有一个Region，随着数据增多，Region不断增大，当增大到一个阀值的时候，Region就会等分会两个新的Region，之后会有越来越多的Region；

(4) Region是Hbase中分布式存储和负载均衡的最小单元，不同Region分布到不同RegionServer上。

(5) Region虽然是分布式存储的最小单元，但并不是存储的最小单元。HRegion由一个或者多个Store组成:

Store存储是HBase存储的核心了，其中由两部分组成，一部分是MemStore，一部分是StoreFiles。

（1）MemStore缓存用户写入的数据：

MemStore是Sorted Memory Buffer，用户写入的数据首先会放入MemStore。

（2）StoreFile最终存储这些数据：

当MemStore满了以后会Flush成一个StoreFile（底层实现是HFile），当StoreFile文件数量增长到一定阈值，会触发Compact合并操作，将多个StoreFiles合并成一个StoreFile，合并过程中会进行版本合并和数据删除，因此可以看出HBase其实只有增加数据，所有的更新和删除操作都是在后续的compact过程中进行的，这使得用户的写操作只要进入内存中就可以立即返回，保证了HBase I/O的高性能。当StoreFiles Compact后，会逐步形成越来越大的StoreFile，当单个StoreFile大小超过一定阈值后，会触发Split操作，同时把当前Region Split成2个Region，父Region会下线，新Split出的2个孩子Region会被HMaster分配到相应的HRegionServer上，使得原先1个Region的压力得以分流到2个Region上。

关于列族的存储：

每个HStore对应了Table中的一个Column Family的存储，每个Column Family其实就是一个集中的存储单元，因此最好将具备共同IO特性的column放在一个Column Family中，这样最高效。

我理解这句话的意思是这样的： 不论是Region，Store，还是构成Store的一个MemStore和多个StoreFile，他们都是逻辑上的概念，在HBase中都描述为一个类，最终真实存储数据的物理存储对象是HDFS上的HFile。

一个Store对应一个列族，意思就是一个特定的列族是用一个Store对象描述，通过这个Store对象可以访问到这个列族的所有信息。

一个列族对应于一个HStore，其中又包含一个写缓存MemStore，多个存储数据的HFile，实际上还有一个读缓存BlockCache。

一个列族在存储到其HStore的时候，是先写满一个HFile，再写下一个HFile。所以针对任意一行，其一个列族的数据必定存储在一个HFile文件中，所以说访问一个列族的数据比较高效。另外任意一行的所有列族的数据一定存储在一个region中。

HBase是面向列的数据库：列族 中的每一列，若没有数据则不会存储。

HBase是按列族存储的数据库： 一行中 同一个列族中的数据必定存放在一起（一个HFile中）。

HLog用于防止写入MemStore的数据丢失：

在分布式系统环境中，无法避免系统出错或者宕机，因此一旦HRegionServer意外退出，MemStore中的内存数据将会丢失，这就需要引入HLog了。每个HRegionServer中都有一个HLog对象，HLog是一个实现Write Ahead Log的类，在每次用户操作写入MemStore的同时，也会写一份数据到HLog文件中（HLog文件格式见后续），HLog文件定期会滚动出新的，并删除旧的文件（已持久化到StoreFile中的数据）。当HRegionServer意外终止后，HMaster会通过Zookeeper感知到，HMaster首先会处理遗留的 HLog文件，将其中不同Region的Log数据进行拆分，分别放到相应region的目录下，然后再将失效的region重新分配，领取 到这些region的HRegionServer在Load Region的过程中，会发现有历史HLog需要处理，因此会Replay HLog中的数据到MemStore中，然后flush到StoreFiles，完成数据恢复。

备注：上面提到两个概念，即HFile和HLog，HBase中的所有数据文件都存储在Hadoop HDFS文件系统上，主要包括这两种文件类型：

1.       HFile， HBase中KeyValue数据的存储格式，HFile是Hadoop的二进制格式文件，实际上StoreFile就是对HFile做了轻量级包装，即StoreFile底层就是HFile

2.       HLog File，HBase中WAL（Write Ahead Log） 的存储格式，物理上是Hadoop的Sequence File

（四）HBase架构及组件

Client

HBaseClient使用HBase的RPC机制与HMaster和HRegionServer进行通信.

对于管理类操作，Client与HMaster进行RPC；对于数据读写类操作，Client与HRegionServer进行RPC。

HBaseClient包含访问HBase的接口，并维护cache来加快对HBase的访问，比如region的位置信息

Zookeeper

HBase中有两张特殊的Table，-ROOT-和.META.

Ø .META.：记录了用户表的Region信息，.META.可以有多个regoin

Ø -ROOT-：记录了.META.表的Region信息，-ROOT-只有一个region

Ø Zookeeper中记录了-ROOT-表的location

(1) Client访问用户数据之前需要首先访问zookeeper，拿到-ROOT表的位置信息，然后访问-ROOT-表，拿到对应的.META表的位置信息，接着访问.META.表，最后才能找到用户数据的位置去访问，中间需要多次网络操作，不过client端会做cache缓存。

(2)ZookeeperQuorum中除了存储了-ROOT-表的地址和HMaster的地址，HRegionServer也会把自己以Ephemeral方式注册到Zookeeper中，使得HMaster可以随时感知到各个HRegionServer的健康状态。此外，Zookeeper也避免了HMaster的单点问题，见下文描述

HMaster

HMaster没有单点问题，HBase中可以启动多个HMaster，通过Zookeeper的MasterElection机制保证总有一个Master运行，HMaster在功能上主要负责Table和Region的管理工作：

1.      管理用户对Table的增、删、改、查操作

2.      管理HRegionServer的负载均衡，调整Region分布

3.      在RegionSplit后，负责新Region的分配

4.      在HRegionServer停机后，负责失效HRegionServer上的Regions迁移

HRegionServer

HRegionServer维护region，处理对这些region的IO请求，向HDFS文件系统中读写数据，是HBase中最核心的模块。

（五）HBase和Hadoop关系

理论上HBase可以运行在任何分布式文件系统智商，只是HBase和Hadoop集成更加紧密，且与其他分布式文件系统相比，HBase投入了更多的研发努力，是的在HDFS上工作更好一些。

Region Server和HDFS的DataNode典型情况下并列配置在同一台物理硬件之上，虽说这不是必须的。

实际上唯一而的要求是Region Server能够访问到HDFS，Region Server本质上说是HDFS客户端，在其上存储/访问数据。

至于Hadoop作业如何以HBase作为数据源，作业结束时如何用HBase来接受数据，以及作业执行过程中如何用HBase来共享资源，以后介绍！