Hadoop学习笔记： 分布式数据库 HBase

HBase概述

HBase是一个构建在HDFS上的分布式列存储系统，是Apache Hadoop生态系统中的重要一员，主要用于海量结构化数据存储。HBase是Google Bigtable的开源实现，从逻辑上讲，HBase将数据按照表、行和列进行存储，它是一个分布式的、稀疏的、持久化存储的多维度排序表。Hbase会把数据写到HDFS文件系统中。
HBase具有以下特点：1）良好的扩展性；2）读和写的强一致性；3）高可靠性，任何一个节点挂掉，都不会影响读写；4）与MapReduce良好的集成。
HBase VS HDFS：1）HDFS适合批处理场景；2）HDFS不支持数据随机查找；3）HDFS不支持数据更新。
HBase VS Hive：1）Hive适合批处理数据分析场景；2）Hive不适合实时的数据访问。
HBase应用在360搜索的网页库、淘宝的商品库和淘宝数据魔方的交易信息。

HBase数据模型

HBase由 (Table, RowKey, Family, Qualifer, TimeStamp)确定Value。在HBase中，一行数据由行健(RowKey)作为键，包含多个列族 (Family)，列族是由具有同时访问特性的多个列(Qualifer)组成的。数据是可以具有多版本的，由时间戳(TimeStamp)索引。时间戳和列的值绑定，如果一行所有的列都没有值，就不会有时间戳。
行键是主键，它是数据行在表中的唯一标识，表中的数据按照行键排序，所有操作都是基于主键的。表是稀疏的，空值不被存储，一行有可能会有几百万列，但是只有几十列有数据。每行都有一个可排序的主键和任意多的列，列可以根据需要动态的增加，同一张表中不同的行可以有截然不同的列。在HBase中只需要定义到列组，列组提前创建好后，列可以在写数据的时候动态的增加，理论上可以有无穷多列。
RowKey：row1
Family：data
Qualifer：name
TimeStamp：t3
Value：lars

HBase数据模型具有以下特点：
1）大：一个表可以有数十亿行，上百万列，可以达到PB级；
2）面向列：面向列(族)的存储，列(族)独立检索；
3）稀疏：对于空(null)的列，并不占用存储空间，表可以设计的非常稀疏；
4）数据多版本：每个单元中的数据可以有多个版本，由时间戳实现；
5）数据类型单一：HBase中的数据都是字节型，没有其他类型，数据读出时由用户做类型转换成他们想要的类型。RowKey的排序也是按照字节排序。

行存储与列存储区别：
1）行存储数据是按行存储，没有索引的查询使用大量I/O，建立索引和物化视图需要花费大量时间和资源，行存更容易定位到一行数据，所以比较适合对事物的处理，面向查询的需求，数据库必须被大量膨胀才能满足性能要求；
2）列存储数据是按列存储，每一列单独存放，数据即是索引，当访问要查询的列时，可以大量降低系统I/O。数据类型一致，数据特征相似，可以高效压缩。每一列由一个线索来处理，支持查询的并发处理。列存更容易将所有相同的数据统计到一起，所以比较适合数据分析，一般分析的维度没有那么多，而又需要统计所有行的信息的时候，比较适合用列存，列存不容易定位一行数据。

HBase物理模型

HBase面向列组存储。
Table中的所有行都按照RowKey的字典序排列，Table 在行的方向上分割为多个Region。某个Region会包含某一个或几个RowKey，一个Region类似于一个行分组。行本身不可以按照列再划分Region，一个Region一般是1G-100G，如果一行的数据大于100G，那说明组织有问题。一行不能分为不同的Region。一个Region放到HDFS上会被再切分成128M的Block来存储。HBase对Table的切分，以及HDFS对Block的切分由内部处理机制完成，对外暴露的都是数据库表和文件。

Region按大小分割的，每个表开始只有一个Region，随着数据增多Region不断增大，当增大到一个阀值的时候，Region就会等分为两个新的Region，之后会有越来越多的Region。也可以在建立Table的时候就建立多个Region。
HBase把Table分割成不同的Region，再把Region随机分配到不同的机器（Region Server）上来实现分布式。Region是HBase中分布式存储和负载均衡的最小单元，不同Region分布到不同Region Server上。