Hbase学习技巧

1、深入了解Hbase物理模型架构：

从物理结构上讲，HBase由三种类型的服务器构成主从式架构。它的主节点master主要的作用为对表的创建和删除。从节点segionserver主要作用为操作数据表，对表进行查看修改插入等操作。Hbase的segionserver和HDFS的DataNode放置在一起，使segionserver操作的数据具有局部性。

Hbase表按照rowkey分成若干个ragion，这些ragion由ragionserver管理，每个ragionserver最多可以管理1000个ragion，每个ragion的大小为1G，然后ragion又根据列簇分为若干个store，每个store中又有三个部分，memstore、storefile、BlockCaceh。当有数据写入store时，h会先将数据写入memstore中，也就是内存中，memstore写满至百分之八十才会溢出到storefile中，也就是Hfile。

Mater的主要职责：

（1）协调Region Servers

（2）启动时分配Region，还原时重新分配Region或者负载均衡

（3）监控集群中所有RegionServer实例管理员方法

（4）提供创建，删除，更新表的接口。

ZooKeeper的作用：

HBase使用Zookeeper做为分布式协调服务来维护及群众server的状态。Zookeeper维护处于活状态并可使用的Severs，并提供Server故障通知。Zookeeper使用共识来保证共同共享的状态。

2、Region Server运行在HDFS的DataNode具备的组件：

（1）. WAL：预写日志是分布式文件系统上的文件。WAL用于存储尚未被永久保存的新数据，用于故障情况下的恢复。

（2）. BlockCache：是读取缓存。在内存中存储频繁读取的数据，近期最少使用的数据在满时被删除。

（3）. MemStore：是写入缓存。存储尚未写入磁盘的数据。在写入磁盘之前进行排序，每个region的每个column family有一个MemStore。

（4）. 在磁盘上，Hfiles将行存储为已排序的KeyValues。

3、strore的数据储存：

当MemStrore积聚了足够的数据，整个有序集合被写入到HDFS的HFile中。HBase每个列族使用多个HFile，其中包含真正的Cell或者KeyValue实例。随着时间的推移，在MenStore中跟据KeyValue排序，最终刷新到磁盘HFile文件中。

注意这也是HBase为什么限制列族数量的一个原因。每个列族只有一个MemStore；当一个MemStore数据满了，会刷新到磁盘文件中。它还保存了最近写入的序列号，以便让系统知道到目前为止持久化的情况。

高位序列号作为元字段存储在每个HFile中，以反映持久化结束位置以及继续执行的位置。在region启动时，序列号被读取后，然后最高位做为新编辑内容的序列号。

数据存储在HFile中，其中包含排序的Key/Value。当MemStore累积足够的数据时，整个已排序的KeyValue集将被写入HDFS中的新HFile。这是一个顺序写入。它速度非常快，因为它避免了移动磁盘驱动器磁头。

4、region：

表格可以水平划分为一个或者多个region。早start key和end key之间包含连续的，排序的行范围。

每个region小为1GB（默认）

表的region通过RegionServer为客户端提供服务。

最初每个表格有一个区域。当一个region变得太大时，它会分裂成两个子region。代表原region的一半的两个子region，在相同的RegionServer上并行打开，然后将分区报告给HMaster。由于负载平衡的原因，HMaster可以安排将新region移动到其他服务器。

5、Hbase四个优点：

（1）. 强一致性模型

（2）. 自动扩展

（3）. 内置恢复机制

（4）. 集成Hadoop