Hbase Region的拆分和合并

最新推荐文章于 2021-12-22 23:17:53 发布
最新推荐文章于 2021-12-22 23:17:53 发布
阅读量708 收藏 1
点赞数
分类专栏： # Hbase 文章标签： hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41712271/article/details/108535634
版权

大白话解释：hbase中，如果一张表有100条记录，默认都是放到一个region中，
如果想把前50条放到一个region，后50条放到一个region中，就要用到region的拆分，反之就是合并

首先看看hdfs上文件目录的情况

执行scan ‘hbase:meta’查看表的元数据

Split拆分

开始做split，运行命令split 'ns1:mytest_4','person-5'
此过程有点慢，稍微等一下

等拆分完成后，接着看下 拆分 后 hdfs和元数据的情况

 
merge_region合并

执行命令 
merge_region '0d99d6c445712c34694263d88e1e0571','9abe6153361c4aa4cee00d2ecac87791',true
参数true，意思是暴力合并，可选参数
合并后发现，region的名称有所变化，现在只有一个region了

 

小哇666
关注
专栏目录
HBase region拆分
wangkuangood3200的专栏
09-16 587
【基本概念】 HBase是以表的形式存储数据的。一张表被划分为多个regions，regions分布在多个Region Server上，单个region只能分布在一个Region Server节点上，不能跨Region Server存放。 Region的两个重要属性：StartKey和EndKey，分别表示这个region所维护的rowkey范围。当做读/写请求时，寻址到该数据的rowkey落...
Hbase Region的切分与合并【原理分析】
lyq7269的博客
07-21 2773
一、Region的切分 Region的自动切分 Region自动切分是HBase能够拥有良好扩张性的最重要因素之一，当然他也是分布式系统追求扩展性很好的功能。当一个Region大到一定程度，会进行分裂（split），HBase可以通过Region Split达到负载均衡。 自动切分的触发策略 自动切分的触发策略有很多种，在1.2.6版本中应该有六种触发策略。但是我们经常用的最多三种。 ConstantSizeRegionSplitPolicy：0.94版本前默认切分策略 I ncreasingToUppe
Hbase的region合并与拆分
01-07
1、region 拆分机制 region中存储的是大量的rowkey数据 ,当region中的数据条数过多的时候,直接影响查询效率.当region过大的时候.hbase会拆分region , 这也是Hbase的一个优点 . HBase的region split策略一共有以下几种： 1、ConstantSizeRegionSplitPolicy 0.94版本前默认切分策略 当region大小大于某个阈值(hbase.hregion.max.filesize=10G)之后就会触发切分，一个region等分为2个region。 但是在生产线上这种切分策略却有相当大的弊端：切分策略对于大表和小表没有
Hbase-之在线Region Merge
shufangreal的博客
11-30 468
Hbase-之在线Region Merge Hbase支持手动与自动Region的Splitting，而且又很完善的策略与算法，虽然Hbase支持Region之间的Merge操作，但是还在继续完善中，目前只能支持手动的Merge； Hbase的Region Merge操作与Splitting操作不一样，因为Merge操作需要HMaster、HRegionServer的共同参与，整个Merge的操作流程如下： 1）Client发送Merge的RPC请求到HMaster； 2）然后Master将Regions
HBase 系列 （五）HBase优化之Region管理--Region合并与拆分
qq_35050438的博客
07-21 1378
写在前面： 我是「nicedays」，一枚喜爱做特效，听音乐，分享技术的大数据开发猿。这名字是来自world order乐队的一首HAVE A NICE DAY。如今，走到现在很多坎坷和不顺，如今终于明白nice day是需要自己赋予的。 白驹过隙，时光荏苒，珍惜当下~~ 写博客一方面是对自己学习的一点点总结及记录，另一方面则是希望能够帮助更多对大数据感兴趣的朋友。如果你也对 大数据与机器学习感兴趣，可以关注我的动态 https://blog.csdn.net/qq_35050438，让我们一起挖掘数据与.
HBase 管理(Region自动拆分，预拆分，强制拆分，Region合并，HFile的合并)（四）
May_J_Oldhu的博客
01-07 2549
HBase 管理一.HBase管理1.Region管理1.1Region的自动拆分（1）ConstantSizeRegionSplitPolicy（2）IncreasingToUpperBoundRegionSplitPolicy（0.94 版本后默认）（3）KeyPrefixRegionSplitPolicy（4）DelimitedKeyPrefixRegionSplitPolicy（5）BusyRegionSplitPolicy（6）DisabledRegionSplitPolicy1.2Region的
Region的拆分与合并
qq_38497133的博客
07-23 2576
文章目录一、拆分与合并的目的拆分合并二、Region拆分1.自动拆分2.手动拆分(1).Linux命令行创建(2).在HBase命令行里创建(3).指定拆分文件(4).强制拆分三、Region合并1.Minor Compaction2.Major Compaction3.三种触发合并检查的情况4.合并操作 一、拆分与合并的目的 拆分 当一个Region大到一定程度，或导致读取效率太低，所以会进行分裂 HBase可以通过Region Split达到负载均衡 Region的拆分分为自动拆分与手动拆分 合并
HBase系列--HBase Region合并
qq_32961283的博客
03-03 2613
1.为什么要合并region 这个需要从Region的Split来说。当一个Region被不断的写数据，达到Region的Split的阀值时(由属性hbase.hregion.max.filesize来决定，默认是10GB)，该Region就会被Split成2个新的Region。随着业务数据量的不断增加，Region不断的执行Split，那么Region的个数也会越来越多。 一个业务表的Region越多，在进行读写操作时，或是对该表执行Compaction操作时，此时集群的压力是很大的。这里笔者做过一个线上
Hbase之-Region是什么？如何split？如何merge？(region数量，region拆分策略，region split）
shufangreal的博客
11-25 2122
Hbase之-Region是什么？如何split？(region数量，region拆分策略，region） 拆分流程) 具体可以参考博客：Region是什么？怎么玩？ 在Hbase中，Region是分布式Table中的分区存储单元，每一个Region代表特定rowkey区间内的数据片段，每个Region中存储着1到多个存储Store，每个Store对应Table中的一个ColumnFamily，每个Store中包含一个MemStore的写缓存。一个RegionServer下的所有的Region共享一个Hlo
HBase笔记（二）之---原理篇（合并与拆分）
weixin_45484707的博客
08-28 723
合并 1、合并操作的时机对象与作用 （1）合并的时机： ①hfile文件进行更新、删除操作时，每操作一次生成一个hfile文件，当有大量更新或删除操作后，需要对hfile文件进行合并，生成一个新的hfile文件； ②新文件生成之后，以前操作留存的文件就会被清理，可以释放资源，节省空间； ③当进行大量更新或删除操作后，region管理范围变小，需要对region进行合并； ④region合并后，表结构也要进行相应的更改，表也要进行合并（释放资源） （可自动合并或手动合并，因其占用大量资源，一般选择周末、节假日
Hbase合并Region的过程中出现永久RIT的解决
03-30 538
在合并Region的过程中出现永久RIT怎么办？笔者在生产环境中就遇到过这种情况，在批量合并Region的过程中，出现了永久MERGING_NEW的情况，虽然这种情况不会影响现有集群的正常的服务能力，但是如果集群有某个节点发生重启，那么可能此时该RegionServer上的Region是没法均衡的。因为在RIT状态时，HBase是不会执行Region负载均衡的，即使手动执行balance...
关于hbase的merge
weixin_43697701的博客
12-22 1881
关于hbase的merge（region合并） 1、region的状态有以下几种 1）OFFLINE region处于offline状态，not opening 2） OPENING region处于正在被opened状态 ３）OPEN region处于打开状态，且RS已经通知Master 4） FAILED—OPEN RS未成功open这个region 5）CLOSING region处于正在关闭中 6）CLOSED RS已经关闭RS且通知了master 7）FAILED—OPEN RS close re
hbase集群负载均衡与高性能的关键——region分割与合并
热门推荐
宝罗Paul 的博客
06-04 1万+
第一部分、分割(split) split是切分、切割、分裂的意思，用来描述region的切分行为。 【与region有关的存储结构介绍】 hbase中的Region是一张表的子集，也就是说把一张表在水平方向上切割成若干个region。一张表一开始的时候只有一个region(区域)，随着数据量的增长，会自动(或手动)切分出来越来越多的region。HBase中针对表采用”Range分区”，把r...
HBase的Region分裂和合并原理
lzf的博客
05-06 1351
Region分裂 当MemStore的数据超过阈值时，将数据溢写磁盘，生成一个StoreFile文件。当Region中最大Store的大小超过阈值时，Region分裂，等分成两个Region，实现数据访问的负载均衡。新的Region的位置由HMaster来确定在哪个RegionServer中。 下面是具体的细节： 1.当一个region里的StoreFile增长到大于配置的参数：hbase.hregion.max.filesize的大小，也可以在创建HBase表的时候指定这个参数，region会被一分
Hbase-原理-region合并和hfile的合并（大合并、小合并）
m0_46538284的博客
11-27 1766
Hbase-原理-region合并 为什么要合并region呢？ 因为在删除region中的信息的过程中会急剧减少region的行数，导致一个region server中的region太小，所以将多个region合并成少量的region region手动合并（shell） 表tb_stu的原region信息 list_regions 'tb_stu' 合并两个region merge_region 'a8c282eafa0589e96213b79b6132410d','aaa7d4f6003
HBASE--数据的删除和切分
吃鱼的博客
12-06 607
HBASE–数据的删除和切分 数据的删除 数据的真正删除发生在两个部分：flush和compaction flush 当对一个RowKey的数据进行两次写入的时候，这两条记录都在内存中还未flush进磁盘。当flush过后，时间戳在前的数据就会被删掉。 put 'stu','1001','info:name','eatfish' put 'stu','1001','info:name','fish...
HBase之预分区
qq_43193797的博客
02-13 966
1 Region 为什么要拆分 一个Region就是一个表的一段 Rowkey 的数据集合。当 Region 太大的时候HBase 会拆分它。 为什么要拆分呢? 因为当某个 Region 太大的时候读取效率太低了。 大家可以想想我们 为什么从 MySQL、Oracle 转移到 NoSQL 来？ 最根本的原因就是这些关系型数据库把数据放到一个地方，查询的本质其实也就是遍历 key； 而当...
HBase的Region 拆分合并数据
最新发布
04-07
1. HBase会在Region拆分点（split point）处选择一个新的Region作为拆分后的Region之一，同时将原有Region的数据分配到拆分后的两个Region中。 2. HBase会将拆分点及其前面的数据都分配给新的Region，将拆分点后面的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值