HBase Region的路由、分配与拆分

最新推荐文章于 2022-09-22 02:23:47 发布
最新推荐文章于 2022-09-22 02:23:47 发布
阅读量6.7k 收藏 1
点赞数
分类专栏： database/nosql 文章标签： hbase server processing table file 存储
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/macyang/article/details/6224840
版权
本文深入探讨HBase Region的管理，包括路由策略、Region的分配平衡以及拆分过程。详细分析了RegionServer上的info Family信息，讨论了启动时的分配策略，如round-robin和维护原有分配。同时，文章提到了Region拆分的触发条件，即当store file超过预设大小时发生。此外，还简述了Compactions的两种类型及其在处理I/O和性能中的角色。
摘要由CSDN通过智能技术生成

打算从下面三个部分仔细了解一下HBase Region的三种操作：

 

Region的路由问题：

 

比如当你要读一个key/value的时候，你要确定它存储在哪台Region Server上面，这就涉及到region的路由问题，有一篇文章“HBase中的Client如何路由到正确的RegionServer ”已经非常详细的介绍了这部门内容，这里面就不多说了，有兴趣进入链接仔细阅读以下。

 

 

表中最主要的Family：info，info里面包含三个Column：regioninfo, server, serverstartcode。其中regioninfo就是Region的详细信息，包括StartKey, EndKey 以及每个Family的信息等等。server存储的就是管理这个Region的RegionServer的地址。

 

Region的分配问题：

当Region数量变多的时候，就需要把它们

最低0.47元/天 解锁文章
macyang
关注
专栏目录
HMBASE的REGION分配
隔壁老杨的专栏
04-02 2233
HMBASE的REGION分配 Region assign分为meta的分配与userregion assign,同时包含hbase启动时与rs下线,因此从4个方面来说明regionassign 启动时的metaregion assign 针对master启动时的补充说明： Hmaster.run.finishInitialization方法中： 得到WALs目录下所有子目录,如果W
HBase region 定位原理
Kuzury
07-18 3751
在Hbase中，大部分的操作都是在RegionServer完成的，Client进行插入，删除，查询数据都需要先找到相应的RegionServer。什么叫相应的RegionServer？就是管理你要操作的那个Region的RegionServer。Client本身并不知道哪个RegionServer管理哪个Region，那么它是如何找到相应的RegionServer的？如上图所示为HBase的存储架构
HBase的Region分配探索
iteye_5230的博客
08-13 349
Region 分配  HBase 的 cluster 中， Region 是如何分配这个问题，困扰了我很久，经过代码分析和调试，得出了一些见解，缺点和错误请大家批评指正。   参与 Region 分配的重要对象 在 Region 分配过程中，起着重要作用有如下一些对象。   HMaster— 是 HBase 中...
hbase region 分配方式
萌兔兔MMQ！！
06-13 976
参与 Region 分配的重要对象 在 Region 分配过程当中，起着重要做用有以下一些对象。安全 HMaster— 是 HBase 中的 Master server ，仅有一个。 HRegionServer— 负责多个 HRegion 使之能向 client 端提供服务，在 HBase cluster 中存在多个HRegionServer 。 ServerManager— 负责管理 Region server 信息，好比每一个 Region server 的 HServerInfo( 这个对象包含HSe
Region管理
大数据跟我学i
02-11 501
文章目录Region分配Region Server上线Region Server下线Region分裂自动分区手动分区 Region分配 任何时刻，一个region只能分配给一个region server Master记录了当前有哪些可用的region server，以及当前哪些region分配给了哪些region server，哪些region还没有分配。当需要分配的新的region，并且有一个region server上有可用空间时，master就给这个region server发送一个装载请求，把re
HBase region预划分及查找过程
热门推荐
09-11 1万+
1.Region预划分： RegionSplitter java.lang.Object org.apache.hadoop.hbase.util.RegionSplitter 切分方式：分别按照不同的Split进行切分 bin/hbase org.apache.hadoop.hbase.util.RegionSplitter -c 60 -f test:rs myTa
2021SC@SDUSC HBase(六)项目代码分析——Region机制（三）之Region定位
weixin_45865669的博客
10-31 2162
目录一、初步认识region定位Meta表Region定位Region定位总结 一、初步认识region定位 在 HBase 中，表的所有行都是按照 RowKey 的字典序排列的，表在行的方向上分割为多个分区（Region），如下图所示。 每张表一开始只有一个 Region，但是随着数据的插入，HBase 会根据一定的规则将表进行水平拆分，形成两个 Region。当表中的行越来越多时，就会产生越来越多的 Region，而这些 Region 无法存储到一台机器上时，则可将其分布存储到多台机器上。 Meta表
Hbase倾斜优化实践
天道不一定酬勤，但天道只会酬勤
09-22 864
Hbase 作为一个分布式的、多版本的开源 KV 数据库，面对大数据也能提供随机的、实时的读写性能。那么，性能如此强大的 Hbase，内部的数据存储结构是怎样设计的呐？基于其存储结构，其读写过程又是怎样的呐？难道 Hbase 就没有弊端了吗？在实践中我们如何去应用 Hbase？接下来我们将一步一步揭开这些问题的面纱。
HBase 写入数据Region路由机制
hf200012
01-17 420
HBase put一条数据 Region 路由规则 1.客户端put接口 org.apache.hadoop.hbase.client.HTableInterface.put(Put put) org.apache.hadoop.hbase.client.HTable.put public void put(final Put put) throws IOExceptio...
Hbase的region控制
齐梦星空
02-14 446
1.region名称的构成 tableName+startkey+regionID(时间戳)+replicaID+encodeName(md5) 例如： 2.预览分区 3.划分分区 4.合并分区 5.预分区 5.1 手动设定预分区 create 'tableName','f1','c1',SPLITS =>['100','200','300','400'] 5.2 生成16进制序列预分区...
hbase 查询固定条数_Hbase的region合并与拆分
weixin_42407741的博客
12-01 405
1、region 拆分机制 region中存储的是大量的rowkey数据 ,当region中的数据条数过多的时候,直接影响查询效率.当region过大的时候.hbase会拆分region , 这也是Hbase的一个优点 . HBase的region split策略一共有以下几种： 1、ConstantSizeRegionSplitPolicy 0.94版本前默认切分策略 当region大小大于某个...
region的拆分策略
oracle8090的博客
09-08 761
Region 概念 Region是表获取和分布的基本元素，由每个列族的一个Store组成。对象层级图如下： Table       (HBase table)     Region       (Regions for the table)          Store          (Store per ColumnFamily for each Region for the table
Apache HBase region拆分
数据源的港湾
06-26 2927
本篇文章主要分享Apache HBase如何通过regions实现负载均衡以及如何管理region拆分。HBase以表的形式存储多行数据。表被划分为”regions“。Regions分布在集群的不同节点上，通过RegionServer进程被客户端调用。一个region由一组连接的Key组成，从一个start key开始，以end key结尾。Region之间不会overlap，这意味着一个固定的ro
Hbase篇(7)-Region的分裂
wujiandao的专栏
11-29 3521
本篇重点：1.Region的切分点是整个region中最大store中的最大文件中最中心的一个block的首个rowkey。2.Region分裂是个事务过程3.Region会先标记，在M...
apache hbase的region 分割与合并
sanwishe's bolg
11-26 4135
原文地址：APACHE HBASE REGION SPLITTING AND MERGING 本文我们将深入探讨hbase的核心领域之一：region分割与合并。 具体来说，我们将详细讨论hbase如何在region间做负载均衡，以及如何管理region分割。hbase的数据以行为单位存储在hbase表中。hbase表按多行被分割成多个region。这些region分布在hbase集群中，并且由
HBase中的Client如何路由到正确的RegionServer
Make Progress Everyday!
04-13 2393
HBase中的Client如何路由到正确的RegionServerPosted onJuly 27, 2010byHarry_Ding<br />在HBase中，大部分的操作都是在RegionServer完成的，Client端想要插入，删除，查询数据都需要先找到相应的RegionServer。什么叫相应的RegionServer？就是管理你要操作的那个Region的RegionServer。Client本身并不知道哪个RegionServer管理哪个Region，那么它是如何找到相应的RegionServe
HBase架构及原理初探
Hopefully Sky的博客
05-26 1410
HBase是一个分布式的、列式的、实时查询的、非关系型数据库，可以处理PB级别的数据，吞吐量可以到的百万查询/每秒；其诞生的理论基础是Google大数据三驾马车之一的BigTable论文。
中信所 分区 查询_HBase Region分区及定位
weixin_35197990的博客
01-04 3518
在 HBase 中，表的所有行都是按照 RowKey 的字典序排列的，表在行的方向上分割为多个分区（Region），如下图所示。每张表一开始只有一个 Region，但是随着数据的插入，HBase 会根据一定的规则将表进行水平拆分，形成两个 Region。当表中的行越来越多时，就会产生越来越多的 Region，而这些 Region 无法存储到一台机器上时，则可将其分布存储到多台机器上。Master ...
HBase Region自动切分详解：原理与策略
"本文详细探讨了HBase Region自动切分的机制和相关策略，旨在加深对HBase Region自动切分的理解，并提供实现此类功能的参考。 HBase Region自动切分是其扩展性和高可用性的关键特性。它涉及到多个关键点，包括触发...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值