Hbase学习笔记一

Hbase：分布式的、面向列的开源数据库

Hbase逻辑模型

HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库，另一个不同的是HBase基于列的而不是基于行的模式

BigTable思想：世界上任何的二维表都可以放到三列的大表bigtable

学生表S（s#,sn,sd,sa）存在关系型的学生表

行健keys对象标识：s#

属性：sn,sd,sa

值value：

 

做key-values查询很方便，其他操作（聚组）很麻烦

 

行健：数据行在表里的唯一标识，并作为检索记录的主键

表里的行只有三种方式

列族：<列族>:<限定符>

 

元素由行健、列族：限定符，时间戳唯一决定

元素以字节码形式存放，没有类型之分

 

Hbase物理模型

HReginServer：一般一台机器：HLog日志（恢复），Store;每个列族为一个store，同一列族物理上放在一起，memory store内存中,物理storefile，小的storefile合并HFiles（合并的时候进行修改或是删除操作），HFile是HDFS存储在各个机器DataNode了。

 

Region和Region服务器

表在行方向上，按照行健范围划分成若干的Region

每个表最初只有一个region，当记录数增加到超过某个阈值时，开始分裂成两个region

物理上所有数据存放在HDFS，由Region服务器提供region的管理

一台物理节点只能跑一个HRegionServer

一个Hregionserver可以管理多个Region实例

一个Region实例包括Hlog日志和存放数据的Store

Hmaster作为总控节点

Zookeeper负责调度

 

 

HLog

日志文件

用于灾难恢复

预写式日志，记录所有更新操作，操作先记录进日志，数据才会写入

 

-ROOT-和.META.表

.META.每个用户定义的表，分为多少region，每个region是怎么存放的

当.META.较大，也可能分裂成多个region，于是用到-ROOT-来管理.META.

-ROOT-:记录了.META.表的Region信息，-ROOT-只有一个region

Zookepper中记录了-ROOT-表的location

-定位数据：region

 

Memstore与storefile

一个region由多个store组成，每个store包含一个列族的所有数据

Store包括位于把内存的memstore和位于硬盘的storefile

写操作先写入memstore,当memstore中的数据量达到某个阈值，Hregionserver启动flashcache进程写入storefile,每次写入形成单独一个storefile

当storefile大小超过一定阈值后，会把当前的region分割成两个，并由Hmaster分配奥相应的region服务器，实现负载均衡

客户端检索数据时，先在memstore找，找不到再找storefile