HBase简介
分布式,多版本,面向列的数据库
特点:强一致性 高扩展 高可用
HBase数据原型
- RowKey: 表中每条记录的主键,RowKey会进行字典排序
- Column Family: 列族,将表进行横向切割,后面简称CF
- Column: 属于某一个列族,可动态添加列
- Version Number: 类型为Long,默认值是系统时间戳,可由用户自定义
- Value: 真实的数据
-
一行数据可以包含多个列族,但是一般不超过三个
-
存储在HBase里面的表一般有上亿行,所以HBase表会对整个数据按照 RowKey 进行字典排序,然后再对这张表进行横向切割。切割出来的数据是存储在 HFile 里面,而不同的 Column Family 虽然属于一行,但是其在底层存储是放在不同的 HFile 里。所以这张表用了六种颜色表示,也就是说,这张表的数据会被放在六个 HFile 里面的,这就可以把数据尽可能的分散到整个集群
-
不同的列族会存储到不同的HFile上,但是它们还是存储在同一个Region中,在同一个节点上
HBase结构
- Region 表按RowKey水平划分成一个集合
- ReginServer 相当于HDFS的DataNode,存放Region
- Hlog 预写日志文件
- Store 存放在Region中
- StoreFile 数据实际存储的位置
- MemStore 内存存储空间
- RegionServer主要管理两种文件,一是Hlog(预写日志 write-ahead log WAL),二是region(实际的数据文件)
- 用户向HBase写入数据,首先在Hlog中产生写入记录,如果HBase服务器崩溃,可以通过Hlog回滚还没有持久化的数据,
- 在Hlog中写入记录后,数据存在MemStore,当MemStore中数据写满时,数据就会被刷写到磁盘中StoreFile中,
- StoreFile存放在Region中,当其中数据写满,就会等分产生另一个Region
- 当table中的行不断增多,就会有越来越多的region。这样一张完整的表被保存在多个Region上
- 从上面的图也可以清晰看到,一个RegionServer管理多个 Region;而一个 Region 管理一个或多个列族