读流程
1.Client 先访问zookeeper,获取hbase:meta 表位于哪个Region Server。
2. 访问对应的Region Server,获取hbase:meta 表,根据读请求的namespace:table/rowkey,查询出目标数据位于哪个Region Server 中的哪个Region 中。并将该table 的region 信息以及meta 表的位置信息缓存在客户端的meta cache,方便下次访问。
3. 与目标Region Server 进行通讯;
4. 分别在Block Cache(读缓存),MemStore 和Store File(HFile)中查询目标数据,并将查到的所有数据进行合并。此处所有数据是指同一条数据的不同版本(time stamp)或者不同的类型(Put/Delete)。
5. 将从文件中查询到的数据块(Block,HFile 数据存储单元,默认大小为64KB)缓存到Block
Cache。
6. 将合并后的最终结果返回给客户端。
StoreFile Compaction
由于memstore 每次刷写都会生成一个新的HFile,且同一个字段的不同版本(timestamp)和不同类型(Put/Delete)有可能会分布在不同的HFile 中,因此查询时需要遍历所有的HFile。
为了减少HFile 的个数,以及清理掉过期和删除的数据,会进行StoreFile Compaction。Compaction分为两种分别是Minor Compaction 和Major Compaction。
Minor Compaction会将临近的若干个较小的HFile 合并成一个较大的HFile,但不会清理过期和删除的数据。
Major Compaction 会将一个Store 下的所有的HFile 合并成一个大HFile,并且会清理掉过期和删除的数据。
Region Split
默认情况下,每个Table 起初只有一个Region,随着数据的不断写入,Region 会自动进行拆分。刚拆分时,两个子Region 都位于当前的Region Server,但处于负载均衡的考虑,HMaster 有可能会将某个Region 转移给其他的Region Server。
Region Split 时机:
1、当1 个region 中的某个Store 下所有StoreFile 的总大小超过hbase.hregion.max.filesize,该Region 就会进行拆分(0.94 版本之前)。
2、当1 个region 中的某个Store 下所有StoreFile 的总大小超过
Min(R^2 *“hbase.hregion.memstore.flush.size”,hbase.hregion.max.filesize"),该Region 就会进行拆分,其中R 为当前Region Server 中属于该Table 的个数(0.94 版本之后)。