HBase 进阶 - 架构及核心流程等

最新推荐文章于 2024-05-30 16:39:23 发布

专业摸鱼

最新推荐文章于 2024-05-30 16:39:23 发布

阅读量130

点赞数

分类专栏：大数据文章标签：大数据 hbase

本文链接：https://blog.csdn.net/qq_40000096/article/details/117305781

版权

4 篇文章 0 订阅

订阅专栏

StoreFile
- 保存数据的物理文件，StoreFile以HFile存储在HDFS上，每个Store有一个或者多个StoreFile(HFile)，StoreFile中的数据上有序的，字典序。
MenStore
- 写内存，所以写数据会先存到MenStore中，排好序后，等到出发刷写机制后会写到HDFS，每次刷写都会生成新的HFile。
WAL
- 在MenStore没有刷写之前，数据在内存中，可能会发生丢失，WAL解决了这个问题，数据会先写到 Write-Ahead logfile 的文件中，然后写入MenStore，在发生故障时，通过这个日志文件就可以恢复数据。
BlockCache
- 读缓存，每次查询完成后会把数据放在BlockCache中，方便下次查询。

client访问zookeeper，获取 hbase:meta表所在的RegionServer.
访问对应的RegionServer，获取 hbase:meta表，根据读请求的 namespace:table/rowkey，查询出目标数据位于哪个RegionServer中的哪个Region中。并将该table的region信息以及meta表的位置信息缓存在客户端的meta cache，方便下次访问.
与目标RegionServer通信，添加数据.
数据追加至 WAL .
数据写入 MenStore ，数据会在内存中排序.
等到合适的时机，讲 MenStore 刷写到 HFile

client访问zookeeper，获取 hbase:meta表所在的RegionServer.
访问对应的RegionServer，获取 hbase:meta表，根据读请求的 namespace:table/rowkey，查询出目标数据位于哪个RegionServer中的哪个Region中。并将该table的region信息以及meta表的位置信息缓存在客户端的meta cache，方便下次访问.
与目标RegionServer通信，查询数据.
在 BlockCache、MenCache、StoreFile 中查找数据，并将查找出来的数据合并.
将查询到的新的数据块（Block，HFile数据存储单元，默认大小为64KB）缓存到Block Cache.
将合并后的最终结果返回给客户端.

当某个memstore的大小达到了hbase.hregion.memstore.flush.size（默认值128M），其所在region的所有memstore都会刷写。
当memstore的大小达到了hbase.hregion.memstore.flush.size（默认值128M）hbase.hregion.memstore.block.multiplier（默认值4）时，会阻止继续往该memstore写数据。
当region server中memstore的总大小达到java_heapsize hbase.regionserver.global.memstore.size（默认值0.4）hbase.regionserver.global.memstore.size.lower.limit（默认值0.95），region会按照其所有memstore的大小顺序（由大到小）依次进行刷写，直到region server中所有memstore的总大小减小到上述值以下。当region server中memstore的总大小达到java_heapsize hbase.regionserver.global.memstore.size（默认值0.4）时，会阻止继续往所有的memstore写数据。
到达自动刷写的时间，也会触发memstore flush。自动刷新的时间间隔由该属性进行配置hbase.regionserver.optionalcacheflushinterval（默认1小时）。
当WAL文件的数量超过hbase.regionserver.max.logs，region会按照时间顺序依次进行刷写，直到WAL文件数量减小到hbase.regionserver.max.logs以下（该属性名已经废弃，现无需手动设置，最大值为32）

由于memstore每次刷写都会生成一个新的HFile，且同一个字段的不同版本（timestamp）和不同类型（Put/Delete）有可能会分布在不同的HFile中，因此查询时需要遍历所有的HFile。为了减少HFile的个数，以及清理掉过期和删除的数据，会进行StoreFile Compaction。
Compaction分为两种，分别是Minor Compaction和Major Compaction。Minor Compaction会将临近的若干个较小的HFile合并成一个较大的HFile，并清理掉部分过期和删除的数据。Major Compaction会将一个Store下的所有的HFile合并成一个大HFile，并且会清理掉所有过期和删除的数据

当1个region中的某个Store下所有StoreFile的总大小超过hbase.hregion.max.filesize，该Region就会进行拆分（0.94版本之前）。
当1个region中的某个Store下所有StoreFile的总大小超过Min(initialSizeR^3,hbase.hregion.max.filesize")，该Region就会进行拆分。其中initialSize的默认值为2hbase.hregion.memstore.flush.size，R为当前Region Server中属于该Table的Region个数（0.94版本之后）。
具体的切分策略为：
第一次split：1^3 * 256 = 256MB
第二次split：2^3 * 256 = 2048MB
第三次split：3^3 * 256 = 6912MB
第四次split：4^3 * 256 = 16384MB > 10GB，因此取较小的值10GB
后面每次split的size都是10GB了。
Hbase 2.0引入了新的split策略：如果当前RegionServer上该表只有一个Region，按照2 * hbase.hregion.memstore.flush.size分裂，否则按照hbase.hregion.max.filesize分裂。

关注