HBase笔记(二)之---原理篇(合并与拆分)

合并

1、合并操作的时机对象与作用
(1)合并的时机:
①hfile文件进行更新、删除操作时,每操作一次生成一个hfile文件,当有大量更新或删除操作后,需要对hfile文件进行合并,生成一个新的hfile文件;
②新文件生成之后,以前操作留存的文件就会被清理,可以释放资源,节省空间;
③当进行大量更新或删除操作后,region管理范围变小,需要对region进行合并;
④region合并后,表结构也要进行相应的更改,表也要进行合并(释放资源)
(可自动合并或手动合并,因其占用大量资源,一般选择周末、节假日这种非工作日进行);
⑤当属性中设置了DDL(过期时间)后,一段时间之后,hfile文件中的数据会过期,hbase会自动将文件进行合并,释放资源。
(2)合并的对象:
hfile文件、region、表。
(3)合并的作用:对更新、删除后的数据进行有效管理;释放资源。

拆分

(对region进行拆分)
1、为什么进行拆分
(1)HBase是以表的形式存储数据的,一个表被划分成多个region,分布咋不同的RegionServer中,单个region只能分布在一个从节点上,不能跨节点存储;
(2)当表中的数据量增多,region管理的数据也会相应增加,默认每个region的大小是128M;
(3)当数据量太多,处理读/写请求出现热点问题的概率会增加,当所有请求都分到了一个region上,region所在的节点可能会因负载过重而宕机;
(4)此时,需要进行region的拆分,分配到不同的节点上,同时对数据进行管理。
2、拆分的方式:
自动拆分和手动拆分。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值