HBase 简介以及个人理解(原理，基本概念，基本架构)

1.HBase简介

HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据，利用Zookeeper作为协调工具。

2.基础知识

2.1数据模型

• HBASE中的每一张表，就是所谓的BigTable。稀疏表。
• RowKey 和 ColumnKey 是二进制值byte[]，按字典顺序排序；
• Timestamp 是一个 64 位整数，时间戳，每次数据操作对应的时间戳，可以看作是数据的version number；
• value 是一个未解释的字节数组byte[]。
• Column Family：列簇，Table在水平方向有一个或者多个Column Family组成，一个Column Family中可以有任意多个Column组成，即Column Family支持动态扩展，无需预先定义Column的数量以及类型，所有Column均以二进制格式存储，用户需要自行进行类型转换。

逻辑数据模型

物理数据模型

2.1.1行

• 字符串、整数、二进制串甚至串行化的结构都可以作为行键。
  图中Row Key 是行键。
• 表按照行键的“逐字节排序”顺序对行进行有序化处理。
  行的顺序也就是说按照行键的字典序进行排序的，可能是有这样的情况，
  row-1
  row-10
  row-2
  row-20
• 表内数据非常‘稀疏’，不同的行的列的数完全目可以大不相同
• 可以只对一行上“锁”
• 对行的写操作是始终是“原子”的

2.1.2列

• 列必须用‘族’(family)来定义。
• 任意一列有如下形式，
  “族：标签”
  其中，族和标签都可为任意形式的串。
  图中，cnnsi.com和my.look.ca就是标签
• 物理上将同“族”数据存储在一起
• 数据可通过时间戳区分版本

2.2物理存储

2.2.1Region

每个column family存储在HDFS上的一个单独文件中，空值不会被保存。Key 和 Version number在每个 column family中均有一份；
HBase 为每个值维护了多级索引，即：

<key, column family, column name, timestamp>

• Table中所有行都按照row key的字典序排列；
• Table在行的方向上分割为多个Region；
• Region按大小分割的，每个表开始只有一个region，随着数据增多，region不断增大，当增大到一个阀值的时候，region就会等分会两个新的region，之后会有越来越多的region；
• Region是Hbase中分布式存储和负载均衡的最小单元，不同Region分布到不同RegionServer上。

2.2.2Store

Region虽然是分布式存储的最小单元，但并不是存储的最小单元。Region由一个或者多个Store组成，每个store保存一个columns family；每个Strore又由一个memStore和0至多个StoreFile组成，StoreFile包含HFile；memStore存储在内存中，StoreFile存储在HDFS上。

2.3HBase架构及基本组件

Hbase基本组件说明：

• Client
  包含访问HBase的接口，并维护cache来加快对HBase的访问，比如region的位置信息
• Master
  
  • 为Region server分配region
  • 负责Region server的负载均衡
  • 发现失效的Region server并重新分配其上的region
  • 管理用户对table的增删改查操作

• Region Server

  • Regionserver维护region，处理对这些region的IO请求
  • Regionserver负责切分在运行过程中变得过大的region

• Zookeeper

  • 通过选举，保证任何时候，集群中只有一个master，Master与RegionServers 启动时会向ZooKeeper注册
  • 存贮所有Region的寻址入口
  • 实时监控Region server的上线和下线信息。并实时通知给Master
  • 存储HBase的schema和table元数据
  • 默认情况下，HBase 管理ZooKeeper 实例，比如， 启动或者停止ZooKeeper
  • Zookeeper的引入使得Master不再是单点故障

HBase中有两张特殊的Table，-ROOT-和.META.

• .META.，记录了用户表的Region信息，.META.可以有多个regoin；
• -ROOT-，记录了.META.表的Region信息，-ROOT-只有一个region
  Zookeeper中记录了-ROOT-表的location；

Client访问用户数据之前需要首先访问zookeeper，然后访问-ROOT-表，接着访问.META.表，最后才能找到用户数据的位置去访问

参考内容