HBase基础加进阶

HBase安装

见hbase文章

HBase架构原理

HBase结构

HBase架构比较复杂，也比较难理解
HBase是Master/slaves架构，从安装环境能看出，HBase分布式环境安装成功后，有一个HMaster，多个HResgionServer进程，HBase架构如图：

HBase是由Client、Zookeeper、HMaster、HRegionServer、HDFS等组件组成，组件的相关功能：
1、Client：客户端，可以是HBase Shell、Java API客户端、RestAPI等
Client就是用来访问HBase数据库的，它不仅提供了访问接口，还维护了对应的缓存来加速HBase的访问。Client端的缓存主要是缓存Region的位置信息，减少获取元数据的时间。当Client端没有缓存的时候（第一次请求），会加载Region的位置信息到Client端，后面直接使用cache中的信息，如果出现重试，则会重新获取Region的位置信息，更新Client端的cache。
2、Zookeeper
HBase通过Zookeeper来做HMaster的高可用、HRegionServer的监控、元数据的入口以及集群配置的维护等工作。它具体工作如下：
（1）通过Zookeeper来保证集群中只有1个HMaster在运行，如果HMaster异常，会通过竞争机制产生新的HMaster提供服务。
（2）通过ZooKeeper来监控HRegionServer的状态，当HRegionServer有异常的时候，通过Master会收到ZooKeeper消息通知HRegionServer上下线的消息。
（3）通过ZooKeeper存储元数据的统一入口地址（该部分内容后面会介绍具体存储了什么元数据信息）。
3、HMaster
HMaster节点的主要职责如下：
（1）监控HRegionServer，处理HRegionServer故障转移，当某个HRegionServer挂掉时，ZooKeeper会将分配在该HRegionServer上的HRegion分配到其他HRegionServer上进行管理。
（2）HRegion分裂后，负责新的HRegion的分配。
（3）处理元数据的变更，比如对表的添加、修改、删除等操作。
（4）在空闲时间进行数据的负载均衡，主要就是在HRegionServer间迁移HRegion，达到负载均衡。
（5）通过ZooKeeper发布自己的位置给客户端。
4、HRegionServer
HRegionServer直接负责用户的读写请求，是真正的“干活”的节点。它的功能概括如下：
（1）负责和底层HDFS的交互，存储数据到HDFS，HBase是依托于HDFS的NoSql数据库，数据会存储在HDFS上。后面《数据Flush过程》会解释什么时候执行数据存储到HDFS上的操作。
（2）处理分配给它的HRegion
（3）刷新缓存到HDFS
（4）维护HLog，HLog是一个容错机制，下面的内容会介绍到HLog的功能。
（5）处理来自客户端的读写请求。HRegionServer是实际管理数据的，所以客户端的读写请求最终都要由HRegionServer来处理。
（6）负责处理HRegion变大后的拆分。
（7）负责StoreFile的合并工作。
5、HDFS
HDFS为HBase提供最终的底层数据存储服务，同时为HBase提供高可用（HLog存储在HDFS）的支持，具体功能概括如下：
（1）提供元数据和表数据的底层分布式存储服务。
（2）数据多副本，保证的高可靠和高可用性。
6、Write-Ahead Logs
Write-Ahead Logs也叫预写日志，在HBase中为HLog，HLog存储在HDFS上。为什么存在要有预写日志呢？其实跟HBase架构设计有关，当对HBase读写数据的时候，数据不是直接写进磁盘，它会在内存中保留一段时间（时间以及数据量阈值可以设定）。但把数据保存在内存中可能有更高的概率引起数据丢失，为了解决这个问题，数据在写入内存之间会先写在一个叫做Write-Ahead logfile的文件中，然后再写入内存中。所以在系统出现故障的时候，数据可以通过这个日志文件重建。需要注意的是，HLog是每一个RegionServer对应一个。
7、HRegion
HRegion可以看成是表的横向切分，HBase表的分片，HBase每个表都会根据RowKey值被切分成不同的HRegion分散存储在HRegionServer中，在一个HRegionServer中可以有多个不同的HRegion。这些HRegion可以来自不同的表。HRegion、Table、HRegionServer关系如下图所示。

值得注意的是，一个HRegion只能在一个HRegionServer上，不能跨多个HRegionServer。
8、Store
每一个Region内部，又分为多个Store，一个Store对应表中的一个列族。也就是说Store存储了对应表该列族下的部分数据。
9、MemStore
顾名思义，就是内存存储，位于内存中，用来保存当前的数据操作，所以当数据保存在WAL中之后， HRegionServer会在内存中存储键值对。该组件功能可以看该文档《读流程》和《写流程》。
10、HFile
这是在磁盘上保存原始数据的实际的物理文件，是实际的存储文件。StoreFile是以HFile的形式存储在HDFS的。文件内容是二进制。组件功能可以看文档《写流程》和《数据Flush过程》。

HBase数据存储结构

HBase是稀疏的，稀疏主要是针对HBase列的灵活性，在列族中，你可以指定任意多的列，在列数据为空的情况下，是不会占用存储空间的。HBase底层存储的数据是KeyValue格式的数据。这一块内容在hbase shell插入数据部分有详细解释。HBase逻辑上也可以看成一个二维表格，可以添加行，可以动态添加列。

RowKey

RowKey是用来检索记录的主键。类似关系型数据库中的主键，但是RowKey在HBase中功能不只是为了检索，HBase中表数据会按照RowKey进行排序，并会在HRegion达到一定大小后，会按照RowKey范围进行裂变。
HBase Table中的行，只有三种方式：
1、通过单个RowKey访问
2、通过RowKey的regex（正则）
3、全表扫描
RowKey行键（RowKey）可以是任意字符串（最大长度为64KB，实际应用中长度一般为10-100bytes），在HBase内部，RowKey保存为字节数组。存储时，数据按照RowKey的字典排序存储。设计RowKey时，要充分排序存储这个特性，将经常一起读取的行存储放到一起（位置相关性）。

Column Family

列族是HBase对表在纵向上的优化，将一个表横向上切分成多个Region，列族在纵向进行切分的，将多列分成一组进行管理。
列族在物理存储上对应于HDFS上的一个目录。HBase表中的每个列，都归属于某个列族。列族是表的schema的一部分（而列不是），必须在使用表之前定义。列名都以列族作为前缀。例如courses:history，courses:math都属于courses这个列族。每个列族都对应一个Store，也对应HDFS一个目录，类似于Hive分区操作一样，HBase相当于按列族进行了分区

Cell

由{RowKey，ColumnFamily，Version}唯一确定的单元。其中Versions实际上是TimeStamp。Cell可以看成是一个存储空间，类似于Excel中的单元格，Cell中的数据是没有类型的，全部是字节码形式存储。

TimeStamp

HBase中通过rowkey和ColumnFamily:Column确定的为一个存储单元称为Cell。每个Cell都保存着同一份数据的多个版本。版本通过时间戳来索引。时间戳的类型是64为整型。时间戳可以由HBase（在数据写入时自动）赋值，此时时间戳是精确到毫秒的当前系统时间。时间戳可以由客户显示赋值。如果应用程序要避免数据版本冲突，就必须自己生成具有唯一性的时间戳。每个cell中，不同版本的数据按照时间倒序排序，即最新的数据排在前面。
为了避免数据存在过多版本造成的管理（包括存储和索引）负担，HBase提供了两种数据版本回收方式。一是保存数据的最后n个版本，二是保存最近一段时间内的版本（比如最近七天）。

HBase原理

元数据存储

HBase中有一个系统表hbase:meta存储HBase元数据信息，可以在HBase Web UI 查看相关信息。

该表记录保存了每个表的Region地址，还有一些其他信息，例如Region的名字，对应表的名字，开始行键，结束行键，服务器的信息。hbase:meta表中每一行对应一个单一的Region。数据如下图：


1、ZooKeeper中存储了hbase:meta表的位置，客户端可以通过ZooKeeper查找到hbase:meta表的位置，hbase:meta是hbase当中一张纸，肯定由一个HRegionServer来管理，其实主要就是通过ZooKeeper的“/hbase/meta-region-server”获取存储“hbase:meta”表的HRegionServer的地址。

读流程

HBase读数据流程如图所示。

1、Client先访问ZooKeeper，从meta表读取Region的位置，然后读取meta表中的数据。meta中又存储了用户表的Region信息；
2、根据RowKey在meta表中找到对应的Region信息；
3、找到这个Region对应的RegionServer；
4、查找对应的Region；
5、先从MemStore找数据，如果没有，再到BlockCache里面读；
6、BlockCache还没有，再到StoreFile上读（为了读取的效率）；
7、如果是从StoreFile里面读取的数据，不是直接返回给客户端，而是先写入BlockCache，再返回给客户端。

写数据

HBase写流程如图所示：

1、Client访问ZooKeeper，获取meta表所处位置。
2、访问meta表，然后读取meta表中的数据。
3、根据namespace（类似于关系型数据库中的数据库）、表名和RowKey在meta表中找到该RowKey应该写入哪个Region。
4、找到这个Region对应的RegionServer，并发送写数据请求。
5、HRegionServer将数据先写道HLog（Write Ahead Log）。为了数据的持久化和恢复；
6、HRegionServer将数据写到内存（MemStore）;
7、反馈Client写成功。
写数据这一块可以看出，HBase将数据写入到内存中后，就返回给客户端写入成功，响应非常快。

数据Flush过程

1、从上面写入数据的流程中可以看出，HBase写数据是写入到MemStore内存就会返回客户端了，并没有直接落磁盘，这也是为什么HBase插入数据会比较快的原因，磁盘I