【大数据学习 | HBASE】hbase的读数据流程与hbase读取数据

1. hbase的读数据流程

在解析读取流程之前我们还需要知道两个功能性的组件和HFIle的格式信息

HFILE

存储在hdfs中的hbase文件，这个文件中会存在hbase中的数据以kv类型显示，同时还会存在hbase的元数据信息，包括整个hfile文件的索引大小，描述，k和v的均匀长度，文件中包含的开始的key和结束的key，以及中位数key，等信息便于检索，以及布隆过滤器等信息，这个数据在我们hbase进行查询读取的时候按照64KB为一个大小进行读取内容数据，其中读取的元数据会全部加载，但是kv类型的真正存储数据会按照64KB为最小单位读取进来。

# flush表的数据，清空memstore
flush <table>
# 查看命令为
hbase hfile -m -b -p -f <hfile的文件路径>
-m 打印元数据信息
-b 打印块信息
-p 打印数据内容
-f 后面接文件

例子：hfile的文件路径：

查看某一列的数据信息：

布隆过滤器：

一个使用hash表作为计算规则的过滤器，也就是在写入数据到hbase的时候要先将数据写出到memstore中，在memstore写满了以后就会将数据以storeFile形式写出到磁盘上，这个时候也会生成一份对应数据的hash表文件，以metablock的形式存储到起来，它的功能非常实用，比如我们在查询数据的时候就可以首先将这个数据进行hash处理，然后和hash表进行比对，如果不存在可以直接避免扫描这个storeFile文件。在巨大的数据面前可以进行高效的数据。

一句话：查询数据的时候将对其进行哈希处理，然后与哈希地图进行比对，如果哈希表取到的值为空，说明storeFile没有该要查询的数据，如果哈希表找到的值不为空，也不一定存在要查询的数据。

blockCache

对应表数据的regionserver级别的缓存组件，主要使用规则就是在查询数据的时候也会将查询结果缓存到regionserver对应的blockCache组件中，下次查询的时候可以直接使用上次查询的结果，blockCache中存储的数据内存包含索引文件，布隆过滤器的值和数据的key，其他的value数据，会以64Kb为大小进行存储，如果数据过期了先清理value的数据，而索引等数据和元数据信息不会清理出去。

blockCache是regionserver级别的缓存