合并
1、合并操作的时机对象与作用
(1)合并的时机:
①hfile文件进行更新、删除操作时,每操作一次生成一个hfile文件,当有大量更新或删除操作后,需要对hfile文件进行合并,生成一个新的hfile文件;
②新文件生成之后,以前操作留存的文件就会被清理,可以释放资源,节省空间;
③当进行大量更新或删除操作后,region管理范围变小,需要对region进行合并;
④region合并后,表结构也要进行相应的更改,表也要进行合并(释放资源)
(可自动合并或手动合并,因其占用大量资源,一般选择周末、节假日这种非工作日进行);
⑤当属性中设置了DDL(过期时间)后,一段时间之后,hfile文件中的数据会过期,hbase会自动将文件进行合并,释放资源。
(2)合并的对象:
hfile文件、region、表。
(3)合并的作用:对更新、删除后的数据进行有效管理;释放资源。
拆分
(对region进行拆分)
1、为什么进行拆分
(1)HBase是以表的形式存储数据的,一个表被划分成多个region,分布咋不同的RegionServer中,单个region只能分布在一个从节点上,不能跨节点存储;
(2)当表中的数据量增多,region管理的数据也会相应增加,默认每个region的大小是128M;
(3)当数据量太多,处理读/写请求出现热点问题的概率会增加,当所有请求都分到了一个region上,region所在的节点可能会因负载过重而宕机;
(4)此时,需要进行region的拆分,分配到不同的节点上,同时对数据进行管理。
2、拆分的方式:
自动拆分和手动拆分。