Hbase的刷写、合并与分片

本文深入探讨Hbase的刷写、合并与分片过程。刷写涉及MemStore的何时触发flush,包括大小限制、时间间隔和WAL文件数量。合并包括Minor和Major Compaction,用于减少小文件并清理数据。分片则关注Region Split的条件,讨论了如何避免数据倾斜问题。
摘要由CSDN通过智能技术生成

一、前言

​ 在上一次的Hbase的分享中我们主要了解了Hbase的系统结构、各组件、读写流程(HBase的系统结构与读写流程);在本次我们将继续深入了解Hbase的刷写与合并。下面进入正题。

二、Hbase的刷写合并与分片

1.刷写

在这里插入图片描述
​ MemStore 的刷写也叫做Flush也有人称之为随机写,它是在经过客户端操作数据存储在MemStore 之后,当满足一些特定条件时,将MemStore 中的数据转换成storefile(Hfile)存储到文件系统(磁盘)的过程。

MemStore 刷写时机

以下选项均可以在hbase-site.xml的文件中进行配置。

1:).当某个 memstroe 的大小达到了 hbase.hregion.memstore.flush.size (默认值 128M ),
其所在 region 的所有 memstore 都会刷写。当 memstore 的大小达到了

hbase.hregion.memstore.flush.size (默认值 128M )* hba
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值