Hbase各组件功能、HMaster、HRegionServer、HRegion、Hbase和Zookeeper关系、HBase如何恢复宕机前数据 03

最新推荐文章于 2023-04-20 13:23:12 发布

啊策策

最新推荐文章于 2023-04-20 13:23:12 发布

阅读量3k

点赞数 5

分类专栏： Hbase 文章标签： HBase如何恢复宕机前数据 Hbase整体框架结构详解 HMaster HRegionServer HRegion、HFlie

本文链接：https://blog.csdn.net/weixin_42641909/article/details/89415454

版权

15 篇文章 0 订阅

订阅专栏

1. Hbase整体结构

在这里插入图片描述

在这里插入图片描述

hmaster需要与zookeeper保持通信状态，通过zookeeper知道hregionServer的位置及hregionServer的存活状态（zookeeper监控hregionServer的存活），管理集群。

在这里插入图片描述

client写入数据，会先连hmaster，hmaster通过zk中的**-root-和.meta**得知机器的分配状态。找一台空闲的，鲜活的，离得近的hregionServer。
- 如果是重新建表，并分配一块新的hregion和hlog给这个表。
- 如果是往表里面写数据，会通过zk告知hregionServer往哪里写。
client从zk中找到hmaster告知的空闲的、鲜活的、离得近的hregionServer，开始写数据。
数据会先写入到hlog和memStore中
memStore满了后，会flush到一个StoreFile。
storeFile达到一定阀值（比如64M）,触发compact,会合并成一个大的storeFile，同时进行版本合并和数据删除。
多个storeFile合并成一个storeFile，当这个storeFile达到一定阀值（比如256M），会触发split操作，切分为两个storeFile。
split操作相当于把和region切分为两个hregion,旧的hregion下线，新的storeFile分配到这两个hregion中，hmaster又把这两个hregion分配到相应的hregionServer上（有了20G的两个hregion）

HBase如何恢复宕机前数据
在这里插入图片描述

每个hregionServer都有一个HLog。
HLog是一个实现write ahead log的类，用户写入memStore的同时，也会写一份数据到HLog中，HLog文件定期会滚动出新，并删除旧的文件（已经持久化到storeFile中的数据）
当HregionServer宕机后，zookeeper会先监听到，告知hmaster。
hmaster首先处理遗留的HLog文件，将不同hregion的HLog数据拆分，放到对应的HRegion的Hlog数据拆分，放到对应的hregion目录下。
hmaster将失效的hregionServer里面的数据重新分配。
新hregionServer加载就hregion,发现hregion目录下有历史hlog需要处理，会复制HLog中的数据到自己的memStore中，memStore满了Flush到storeFiles。完成数据恢复。

如果喜欢本文章，请用小手点个赞~

啊策策

关注

专栏目录