HBase基础知识

HBase简介

分布式，多版本，面向列的数据库
特点：强一致性 高扩展 高可用

HBase数据原型

• RowKey: 表中每条记录的主键，RowKey会进行字典排序
• Column Family: 列族，将表进行横向切割，后面简称CF
• Column: 属于某一个列族，可动态添加列
• Version Number: 类型为Long，默认值是系统时间戳，可由用户自定义
• Value: 真实的数据

1. 一行数据可以包含多个列族，但是一般不超过三个

2. 存储在HBase里面的表一般有上亿行，所以HBase表会对整个数据按照 RowKey 进行字典排序，然后再对这张表进行横向切割。切割出来的数据是存储在 HFile 里面，而不同的 Column Family 虽然属于一行，但是其在底层存储是放在不同的 HFile 里。所以这张表用了六种颜色表示，也就是说，这张表的数据会被放在六个 HFile 里面的，这就可以把数据尽可能的分散到整个集群

3. 不同的列族会存储到不同的HFile上，但是它们还是存储在同一个Region中，在同一个节点上

HBase结构

• Region 表按RowKey水平划分成一个集合
• ReginServer 相当于HDFS的DataNode，存放Region
• Hlog 预写日志文件
• Store 存放在Region中
• StoreFile 数据实际存储的位置
• MemStore 内存存储空间

1. RegionServer主要管理两种文件，一是Hlog（预写日志 write-ahead log WAL），二是region（实际的数据文件）
2. 用户向HBase写入数据，首先在Hlog中产生写入记录，如果HBase服务器崩溃，可以通过Hlog回滚还没有持久化的数据,
3. 在Hlog中写入记录后，数据存在MemStore，当MemStore中数据写满时，数据就会被刷写到磁盘中StoreFile中，
4. StoreFile存放在Region中，当其中数据写满，就会等分产生另一个Region
5. 当table中的行不断增多，就会有越来越多的region。这样一张完整的表被保存在多个Region上
6. 从上面的图也可以清晰看到，一个RegionServer管理多个 Region；而一个 Region 管理一个或多个列族