HBase介绍 HBase入门必备

• 介绍

hbase是bigtable的开源java版本。是建立在hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写nosql的数据库系统。

它介于nosql和RDBMS之间，仅能通过主键(row key)和主键的range来检索数据，仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。

主要用来存储结构化和半结构化的松散数据。

Hbase查询数据功能很简单，不支持join等复杂操作，不支持复杂的事务（行级的事务）

Hbase中支持的数据类型：byte[]

与hadoop一样，Hbase目标主要依靠横向扩展，通过不断增加廉价的商用服务器，来增加计算和存储能力。

HBase中的表一般有这样的特点：

大：一个表可以有上十亿行，上百万列

面向列：面向列(族)的存储和权限控制，列(族)独立检索。

稀疏：对于为空(null)的列，并不占用存储空间，因此，表可以设计的非常稀疏。

 

传统数据表

 

HBase数据表

 

 

• 发展历程

HBase的原型是Google的BigTable论文，受到了该论文思想的启发，目前作为Hadoop的子项目来开发维护，用于支持结构化的数据存储。

官方网站：http://hbase.apache.org

2006年Google发表BigTable白皮书

2006年开始开发HBase

2008年HBase成为了Hadoop的子项目

2010年HBase成为Apache顶级项目

 

 

• HBase与Hadoop的关系

HDFS：

为分布式存储提供文件系统

针对存储大尺寸的文件进行优化，不适用对HDFS上的文件进行随机读写

直接使用文件

数据模型不灵活

使用文件系统和处理框架

优化一次写入，多次读取的方式

 

HBase：

提供表状的面向列的数据存储

针对表状数据的随机读写进行优化

使用key-value操作数据

提供灵活的数据模型

使用表状存储，支持MapReduce，依赖HDFS

优化了多次读，以及多次写

 

 

• RDBMS与HBase的对比

关系型数据库：

结构：

数据库以表的形式存在

支持FAT、NTFS、EXT、文件系统

使用Commit log存储日志

参考系统是坐标系统

使用主键（PK）

支持分区

使用行、列、单元格

 

功能：

支持向上扩展

使用SQL查询

面向行，即每一行都是一个连续单元

数据总量依赖于服务器配置

具有ACID支持

适合结构化数据

传统关系型数据库一般都是中心化的

支持事务

支持Join

 

HBase：

结构：

数据库以region的形式存在

支持HDFS文件系统

使用WAL（Write-Ahead Logs）存储日志

参考系统是Zookeeper

使用行键（row key）

支持分片

使用行、列、列族和单元格

 

功能：

支持向外扩展

使用API和MapReduce来访问HBase表数据

面向列，即每一列都是一个连续的单元

数据总量不依赖具体某台机器，而取决于机器数量

HBase不支持ACID（Atomicity、Consistency、Isolation、Durability）

适合结构化数据和非结构化数据

一般都是分布式的

HBase不支持事务

不支持SQL

不支持Join

 

 

• 特征简要

海量存储：

Hbase适合存储PB级别的海量数据，在PB级别的数据以及采用廉价PC存储的情况下，能在几十到百毫秒内返回数据。这与Hbase的极易扩展性息息相关。正式因为Hbase良好的扩展性，才为海量数据的存储提供了便利。

 

列式存储：

这里的列式存储其实说的是列族存储，Hbase是根据列族来存储数据的。列族下面可以有非常多的列，列族在创建表的时候就必须指定。

 

极易扩展：

Hbase的扩展性主要体现在两个方面，一个是基于上层处理能力（RegionServer）的扩展，一个是基于存储的扩展（HDFS）。

通过横向添加RegionSever的机器，进行水平扩展，提升Hbase上层的处理能力，提升Hbsae服务更多Region的能力。

备注：RegionServer的作用是管理region、承接业务的访问，这个后面会详细的介绍通过横向添加Datanode的机器，进行存储层扩容，提升Hbase的数据存储能力和提升后端存储的读写能力。

 

高并发：

由于目前大部分使用Hbase的架构，都是采用的廉价PC，因此单个IO的延迟其实并不小，一般在几十到上百ms之间。这里说的高并发，主要是在并发的情况下，Hbase的单个IO延迟下降并不多。能获得高并发、低延迟的服务。

 

稀疏：

稀疏主要是针对Hbase列的灵活性，在列族中，你可以指定任意多的列，在列数据为空的情况下，是不会占用存储空间的。

 

 

• 基础架构

HMaster：

监控RegionServer

处理RegionServer故障转移

处理元数据的变更

处理region的分配或移除

在空闲时间进行数据的负载均衡

通过Zookeeper发布自己的位置给客户端

 

RegionServer：

负责存储HBase的实际数据

处理分配给它的Region

刷新缓存到HDFS

维护HLog

执行压缩

负责处理Region分片

 

 

组件：

Write-Ahead logs

HBase的修改记录，当对HBase读写数据的时候，数据不是直接写进磁盘，它会在内存中保留一段时间（时间以及数据量阈值可以设定）。但把数据保存在内存中可能有更高的概率引起数据丢失，为了解决这个问题，数据会先写在一个叫做Write-Ahead logfile的文件中，然后再写入内存中。所以在系统出现故障的时候，数据可以通过这个日志文件重建。

 

StoreFile（HFile）

这是在磁盘上保存原始数据的实际的物理文件，是实际的存储文件。

 

Store

HFile存储在Store中，一个Store对应HBase表中的一个列族。

 

MemStore

顾名思义，就是内存存储，位于内存中，用来保存当前的数据操作，所以当数据保存在WAL中之后，RegsionServer会在内存中存储键值对。

 

Region

Hbase表的分片，HBase表会根据RowKey值被切分成不同的region存储在RegionServer中，在一个RegionServer中可以有多个不同的region。