HBase概述
Hbase是基于hadoop的一张大表(十亿行 * 百万列), 可以支持十亿级数据量的秒级查询.
Hbase实现了更高的性能, 但在一定程度上牺牲了数据的一致性(部分一致性).
Hbase一条数据有多个版本. 基于时间戳的版本可以通过追加写解决大表随机写的问题
HBase与hive: HBase相当于一个数据库, 往hdfs中写入数据; 而hive为一个数据仓库, 支持表的关联操作 , 可以用作数据分析.
hbase依赖于hdfs, hdfs本身不支持随机写,只支持追加写.
Hbase通过增加时间戳的方式来支持对数据的修改(间接解决不能支持随机写的问题),
在查询时,只返回时间戳最大的数据.
HBase表确定一个字段值所需要的概念
库:表名, 行键, 列族名:列名, 时间戳, 值
注意HBase在创建表时只指定表名与列族名.
时间戳主要是为了HBase能够实现大表的随机读写, 同时HBase也能设置保存数据版本个数.
概念简介
- namespace: 名称空间; 存放表的库
- table:表
- rowkey: 行键。 rowkey是一行唯一标识. 通过rowkey可以快速地检索到数据属于哪个region.
rowkey会在region中进行字典排序. - column family: 列族。由多个列组成. 一个列族在hdfs上为一个文件夹, 文件夹中由多个hfile文件组成. 列族是在建表时指定. 一个表的列族越少越好.
- column quliafier:
列名。列名是在插入数据时随意指定,不限类型,不限名称. - TimeStamp 标识数据的不同版本(version)。 时间戳默认由系统指定, 也可由用户指定。
在读取单元格的数据时,如果不指定, 默认会获取最新版本数据返回. - cell
保存一个字段值的数据单元, 也是最小的数据单元.
HBase还有一个概念: region。 一个表的若干行,组成一个region. region是服务端在处理请求时的最小单位, 由regionsServer管理. 这样就可以将一个HBase表划分给多个regionServer管理.
HBase的架构
Master
master负责表的管理 (DDL)
Table: create, delete, alter
RegionServer
RegionServer负责表的增删改查(DML),以及维护
- 表的数据的读写(DML).
- 分配region到RegionServer, 监控RegionSever的状态.
- region的合并(splitRegion)与拆分(compactRegion).
一张HBase表按行划分为多个region由RegionServer管理. 每个region以HFlile文件格式将数据保存在磁盘上.
region :表按行的一个切片, 包含一整行所有字段
StoreFile由Mem Store刷写到磁盘, 保存为HFile格式的文件