HBase学习笔记——持续更新

HBase 是一种分布式、可扩展、支持海量数据存储的 NoSQL 数据库。（列数据库）

基本介绍

HBase 逻辑结构

HBase 物理存储结构

数据模型，HBase和MySQL对应关系

MySQL	HBase	解释
数据库（DatabBase）	命名空间（Name Space ）	HBase有两个自带的命名空间，分别是 hbase 和 default，hbase 中存放的是 HBase 内置的表，default 表是用户默认使用的命名空间。
表	表（会划分为多个Region（区域））	一个表对应多个Region，Region和表的概念差不多。 HBase 定义表时只需要声明列族即可，不需要声明具体的列。
主键	Row key（行键）	数据是按照 RowKey的字典顺序存储的
列	Column（列）	每个列都由 Column Family(列族)和 Column Qualifier（列限定符）进行限定
	Time Stamp	时间戳，用于标识数据的不同版本（version）
值	Cell	由{rowkey, column Family：column Qualifier, time Stamp} 唯一确定的单元。

基本架构（不完整）

架构角色：

1.Region Server

Region Server 为 Region 的管理者，其实现类为 HRegionServer，主要作用如下:
对于数据的操作：get, put, delete；
对于 Region 的操作：splitRegion、compactRegion。

2.Master

Master 是所有 Region Server 的管理者，其实现类为 HMaster，主要作用如下：
对于表的操作：create, delete, alter
对于 RegionServer的操作：分配 regions到每个RegionServer，监控每个 RegionServer
的状态，负载均衡和故障转移。

3.Zookeeper

HBase 通过 Zookeeper 来做 Master 的高可用、RegionServer 的监控、元数据的入口以及
集群配置的维护等工作。

4.HDFS

HDFS 为 HBase 提供最终的底层数据存储服务，同时为 HBase 提供高可用的支持。

HBase 服务的启停

start-hbase.sh
stop-hbase.sh

查看 HBase web页面

hadoop102:16010

HBase Shell 操作

hbase shell——进入HBase
help——帮助命令
list——显示所有表
Exists——查看表是否存在
describe ‘student——查看表结构
count ‘student’——统计表数据行数

表操作

创建

create ‘student’,‘info’——创建表和列族（列族可有多个）
create ‘student’,‘info’,‘city’——创建表和两个列族

修改表

alter ‘student’,{NAME=>‘info’,VERSIONS=>3}数据存放 3 个版本
alter ‘student’,‘newdemo’添加列族
alter’student’,{NAME=>‘info’,METHOD=>‘delete’}删除info列族1
alter’student’,‘delete’=>'info’删除info列族2

删除表

disable ‘student’——修改状态为disable
drop ‘student’——删除表
truncate ‘student’——清空表数据 ，先 disable

数据的操作

插入数据（也可以更新，有时间戳）

put ‘表名’,‘行键’,‘列族：列限定符’,‘单元格值’
put ‘student’,‘1001’,‘info:sex’,‘male’

删除数据

delete ‘表名’,‘行键’,‘列族:<列限定符>’,<时间戳>
delete ‘student’,‘1001’,'info’删除表中行号1001的所有info列族内容
delete ‘student’,‘1001’,'info:math’删除表中行号为1001的info列族的列math，单元格内容
delete ‘student’,‘1001’,‘info:math’,2删除时间戳小于等于2的数据
deleteall ‘student’,'1001’删除1001这一行所有内容，跨越多个列族

查询数据

get’表名’,‘行键’,<‘列族:列限定符’,时间戳>
get ‘student’,'1001’查看“指定行”，跨越多个列族
get ‘student’,‘1001’,'info:name’查看“指定列族:列”的数据

扫描查看表数据（和查询差不多）

scan ‘student’——扫描查看全表数据
scan ‘student’,{STARTROW => ‘1001’, STOPROW =>
‘1001’}
scan ‘student’,{STARTROW => ‘1001’}

HBase 进阶

架构原理

1）StoreFile（存储文件）硬盘
保存实际数据的物理文件，StoreFile 以 HFile 的形式存储在 HDFS 上。每个 Store 会有一个或多个 StoreFile（HFile），数据在每个 StoreFile 中都是有序的。
2）MemStore（记忆商店）内存
写缓存，由于 HFile 中的数据要求是有序的，所以数据是先存储在 MemStore 中，排好序后，等到达刷写时机才会刷写到 HFile，每次刷写都会形成一个新的 HFile。
3）WAL（预写日志文件）
由于数据要经 MemStore 排序后才能刷写到 HFile，但把数据保存在内存中会有很高的概率导致数据丢失，为了解决这个问题，数据会先写在一个叫做 Write-Ahead logfile 的文件中，然后再写入 MemStore 中。所以在系统出现故障的时候，数据可以通过这个日志文件重建。

写流程

写流程：
1）Client 先访问 zookeeper，获取 hbase:meta 表位于哪个 Region Server。
2）访问对应的 Region Server，获取 hbase:meta 表，根据读请求的 namespace:table/rowkey，查询出目标数据位于哪个 Region Server 中的哪个 Region 中。并将该 table 的 region 信息以及 meta 表的位置信息缓存在客户端的 meta cache，方便下次访问。
3）与目标 Region Server 进行通讯；
4）将数据顺序写入（追加）到 WAL；
5）将数据写入对应的 MemStore，数据会在 MemStore 进行排序；
6）向客户端发送 ack；
7）等达到 MemStore 的刷写时机后，将数据刷写到 HFile。