黑猴子的家：HBase 之 RowKey设计

最新推荐文章于 2023-06-16 10:58:05 发布
最新推荐文章于 2023-06-16 10:58:05 发布
阅读量168 收藏
点赞数
分类专栏： HBase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_28652401/article/details/83510220
版权

一条数据的唯一标识就是rowkey，那么这条数据存储于哪个分区，取决于rowkey处于哪个一个预分区的区间内，设计rowkey的主要目的 ，就是让数据均匀的分布于所有的region中，在一定程度上防止数据倾斜。接下来我们就谈一谈rowkey常用的设计方案。

1、生成随机数、hash、散列值

比如：
原本rowKey为1001的，SHA1后变成

dd01903921ea24941c26a48f2cec24e0bb0e8cc7

原本rowKey为3001的，SHA1后变成

49042c54de64a1e9bf0b33e00245660ef92dc7bd

原本rowKey为5001的，SHA1后变成

7b61dec07e02c188790670af43e717f0f46e8913

在做此操作之前，一般我们会选择从数据集中抽取样本，来决定什么样的rowKey来Hash后作为每个分区的临界值。

2、字符串反转

20180524000001转成10000042508102
20180524000002转成20000042508102
这样也可以在一定程度上散列逐步put进来的数据。

3、字符串拼接

20180524000001_a12e
20180524000001_93i7

黑猴子的家
关注
专栏目录
hbase的Rowkey设计方案.pdf
12-25
其核心特性之一便是通过Rowkey进行数据查询，因此Rowkey的设计对于HBase的读写性能至关重要。Rowkey不仅需要包含关键检索信息，还要兼顾查询方式和数据存储格式，以避免全表扫描导致的效率低下。 在HBase中，...
hbase预分区和注意点
嘿！没错，我是李先生
07-14 2090
一、预分区 1 原因： 热点问题：数据持续读写一个region（或节点）上。 region自动分区会造成频繁IO。 2 设置分区 （前缀）范围 -10,10-20,20-30,30-40,40-50,50-60,60-70,70-80,80-90,90- 生成分区前缀： 建表： 造数据： 查看web ui以验证 二、注意点 1 如何加盐 2 每个RegionServer上分区多少合适 ...
Hbase预分区参考
Samooyou的博客
02-28 565
hbase预分区
HBase性能调优
晓晓的天空
03-09 1096
HBase性能调优
HBase Shell操作HBase进行预分区
最新发布
runepic的博客
06-16 2915
本文将介绍如何使用HBase Shell操作HBase进行预分区。预分区是指在创建表的时候，指定表的初始分区点，从而使表的数据能够均匀地分布在多个RegionServer上，提高读写性能和负载均衡。本文将使用HBase Shell命令，创建不同的预分区表，并演示如何删除、刷新、查看和验证表的数据。本文使用了HBase Shell命令，通过交互式方式操作HBase进行预分区。也可以使用Java API或其他语言API。
HBase2.x（十三）HBase 分区
weixin_45417821的博客
10-02 1131
每一个 region 维护着 startRow 与 endRowKey，如果加入的数据符合某个 region 维护的rowKey 范围，则该数据交给这个 region 维护。那么依照这个原则，我们可以将数据所要投放的分区提前大致的规划好，以提高 HBase 性能。1）手动设定预分区2）生成 16 进制序列预分区3）按照文件中设置的规则预分区aaaabbbbccccdddd4）使用 JavaAPI 创建预分区。
大数据性能调优之HBase的RowKey设计.docx
11-14
"大数据性能调优之HBase的RowKey设计" 大数据功能调优之HBase的RowKey设计是指在HBase中对RowKey的设计，以提高HBase的性能和可扩展性。RowKey是HBase中的一种二进制码流，可以是任意字符串，最大长度为64kb，但...
Hbase行键设计（rowkey）实现多条件查询
01-27
在HBase中，行键（RowKey）的设计是至关重要的，因为它直接影响到数据的存取效率和查询性能。HBase是一种分布式、列式存储的NoSQL数据库，它以Key-Value的形式存储数据，并且主要依赖RowKey进行快速定位。由于HBase...
hbase的rowkey设计与hbase的协处理器运用.docx
09-01
2. 根据 hbase:meta 所在 RegionServer 的访问信息，客户端会将该元数据表加载到本地并进行缓存。 3. 根据数据所在 RegionServer 的访问信息，客户端会向该 RegionServer 发送真正的数据读取请求。 RegionServer 的...
一起重新开始学大数据-Hbase篇-day 57 Hbase调优
tiand7的博客
09-20 538
一起重新开始学大数据-Hbase篇-day 57 Hbase调优 ????文章目录????1、预分区2、Rowkey设计①设计原则②热点问题3、In memory4、Max Version5、Compact&split6、BulkLoading①代码②说明 1、预分区 Pre-Creating Regions（预分区） 概述：   默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候， 所有的HBase客户端都向这一个region写数据，直到这个region足够大
HBase常用操作
qq_25100219的博客
03-23 215
1.创建表 create 'test','cf1','cf2' 备注：1.test表示表名；2.cf1和cf2表示列簇名，根据实际情况增加 2.查看有哪些表 list 备注：类似mysql的show tables; 3.查看表结构 describe 'test' 备注：类似mysql的desc 4.添加数据 给test表的cf1:name列插入数据 put 'test','r...
hbase split
数据之美的博客
10-31 1190
hbase split 因为已经进行了预分区，在参数配置时，我们将hbase.hregion.max.filesize调整至了30G(32212254720),但是在测试中发现，还是会在表或者是region不到30G发生了split,日志中可见发生split信息。又碰到一个和major compaction差不多，设置了相应参数却不能唯一控制situation的参数。相关资料整理如下： Hba...
Hbase预分区与优化
GavinKai
10-21 2903
1. Hbase设计七大原则 1.1）每个region的大小应该控制在10G到50G之间； 1.2）一个表最好保持在 50到100个 region的规模； 1.3）每个cell最大不应该超过10MB 如果超过，应该有些考虑业务拆分，如果实在无法拆分，那就只能使用mob； 1.4）我们设置一个列族 1.5）列族名必须尽量短 因为我们知道在存储的时候，每个keyvalue都会包含列族名； 1.6）如果一个表存在一个以上的列族，那么必须要注意，不同列族之间行数相差不要太大。 例如列族A有10万行
小记--------hbase数据库预分区设计，rowkey设计及参数调优
计算机毕业论文源码，学生个人网页制作html源码。贴近用户做网络推广和互联网优化。
08-18 162
　　表的设计 　　1.1预分区设计 　　每一个region维护者startrowkey与endrowkey，如果假如的数据符合某个region维护的rowkey范围，则该数据交给这个region维护，所以我们可以将数据所有投放的分区提前大致的规划好，以提高hbase性能 　　可以通过hbase shel...
Hbase的预分区
liutao3233的博客
11-22 1741
hbase预分区
Hbase之预分区
lslslslslss的博客
01-05 5064
一、预分区设置 创建表时，只有一个分区region，当该分区达到一定的值时，会进行分区，此时分区会影响Hbase的性能。而且每一个region维护着startRowKey与endRowKey，如果加入的数据符合某个region维护的rowKey范围，则该数据交给这个region维护。因此可以添加预分区。 1.手动设定预分区 create 'group','info',SPLITS =>['10','20','30','40'] 2.生成16进制序列预分区 crea...
【Hbase】建表命令
zkq_1986的博客
11-20 1330
Hbase 建表基本命令 1. create 't1','c1','c2' 表示创建一个t1表，列簇为c1和c2两个。 2. 预分区 TTL的单位为秒 create 't2',{NAME=>'f1',COMPRESSION=>'SNAPPY',TTL=>63072000},SPLITS=>['0001','0002','0003',
HBase原理 | HBase分区影响与合理分区设置
Focus on Lakehouse
06-04 5951
本文重点参考HBase官网，从分区过多这个角度出发，进一步聊一聊HBase分区过多的影响以及单节点合理分区数量等。
HBase Rowkey设计：散列与预分区策略
"HBaseRowkey的散列与预分区设计" 在HBase中，Rowkey的设计和管理对于系统的性能和可扩展性至关重要。Rowkey是HBase中的主要索引，决定了数据的存储和检索方式。表格会被分成多个Region，每个Region都有StartKey和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值