关于HBase中Rowkey的设计原则

于 2021-03-05 20:58:06 发布
阅读量201 收藏
点赞数
分类专栏： 大数据 hbase2.0.5 文章标签： 大数据 hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43883124/article/details/114413669
版权

关于HBase中Rowkey的设计原则

hbase的数据是key-value结构！因此一条数据的唯一标识就是rowkey!

region也是根据rowkey进行排序，根据rowkey进行切分！

rowkey设计的好，可以提供系统负载均衡的能力！

如何让regionserver负载均衡： 让数据可以基于rowkey排序后，均匀地分散到所有的region!防止数据倾斜！

如何实现：
①可以采取随机数，hash或散列运算，让rowkey足够散列
②字符串反转
③字符串拼接

** Rowkey设计原则**

旧城里的阳光
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
HBase rowkey设计原则
HoldonWithYourGoal的博客
11-09 984
Hbase是三维有序存储的，通过rowkey、column key（column family和qualifier）、timestamp这三个维度可以对数据进行快速定位。 1、通过get方式，指定rowkey获取唯一一条记录。 2、通过scan方式，setStartRow和setEndRow参数进行范围匹配。 3、全表扫描。 rowkey设计原则 1. 唯一原则 2.
HBase-RowKey与索引设计(高清)
12-26
接下来，我们将详细讨论HBase中RowKey与索引的设计原则和技巧，以及它们在HBase中的重要性和应用案例。 首先，RowKey是HBase中表的主键，用于唯一标识表中的每一行记录。它在HBase的数据模型中扮演着非常关键的角色...
HBase的RowKey设计
weixin_30699443的博客
06-17 734
HBase是三维有序存储的，通过rowkey（行键），column key（column family和qualifier）和TimeStamp（时间戳）这个三个维度可以对HBase中的数据进行快速定位。 HBase中rowkey可以唯一标识一行记录，在HBase查询的时候，有两种方式： 通过get方式，指定rowkey获取唯一一条记录 通过scan方式，设置startRow和...
HBase RowKey的设计原则
热门推荐
lavimer
04-08 2万+
HBase是三维有序存储的，三维指的是：RowKey(行健)、column key(columnFamily和qualifier)、TimeStamp(时间戳)，通过这三个维度我们可以对HBase中的数据进行快速定位。下面我们主要来讨论RowKey的设计原则： HBase中RowKey可以唯一标识一条记录，在HBase查询的时候，我们有两种方式，第一种是通过get()方法指定RowKey条件后获
078 Hbase中rowkey设计原则
weixin_34144848的博客
12-13 71
1.热点问题 　　在某一时间段，有大量的数据同时对一个region进行操作   2.原因 　　对rowkey的设计不合理 　　对rowkey的划分不合理   3.解决方式 　　rowkey是hbase的读写唯一标识 　　最大长度是64KB。   4.核心原则 　　设计必须按照业务需求进行设计   5.长度原则 　　经验：10~100字节可以 　　官方：16字节，因为操作系统时8字节进行存储   6...
Hbase行键设计（rowkey）实现多条件查询
01-27
在HBase中，行键（RowKey）的设计是至关重要的，因为它直接影响到数据的存取效率和查询性能。HBase是一种分布式、列式存储的NoSQL数据库，它以Key-Value的形式存储数据，并且主要依赖RowKey进行快速定位。由于HBase...
HBase分页查询的rowkey设计技巧
09-20
用户历史订单列表查询rowkey设计技巧 最左前缀原则
hbase原理和设计
09-26
在HBase中，数据是以RowKey为主键进行排序的，这导致按非RowKey字段查询数据时效率较低。为了提高这类查询的性能，HBase引入了二级索引的概念。二级索引通常采用以下几种方式实现： 1. **倒排索引(Inverted Index)*...
HBase数据库设计.doc
06-16
HBase的模式设计包括创建和更新列族，以及行键的设计原则。行键设计是关键，因为它决定了数据的存储和访问效率。通常建议行键设计为能够快速定位数据且具有一定排序意义的值。 HBase的拓扑结构由RegionServer、...
HBASE中rowkey的设计原则
wyqwilliam的博客
11-25 322
Rowkey 设计三原则  1、 rowkey 长度原则 　　Rowkey 是一个二进制码流，Rowkey 的长度被很多开发者建议说设计在 10~100 个字节，不 过建议是越短越好，不要超过 16 个字节。 　　原因如下： 　　　　1、数据的持久化文件 HFile 中是按照 KeyValue 存储的，如果 Rowkey 过长比如 100 个字 节，1000 万列数据光 Rowkey ...
HBase RowKey设计原则
程序员成长之路
04-02 2616
本文引自淘宝技术部文章：http://rdc.taobao.org/?p=457 建议使用String如果不是特殊要求，RowKey最好都是String。 方便线上使用Shell查数据、排查错误 更容易让数据均匀分布 不必考虑存储成本 RowKey的长度尽量短如果RowKey太长话，第一是，存储开销会增加，影响存储效率；第二是，内存中Rowkey字段过长，内存的利用率
Hbase RowKey设计原则
shengjk1的博客
10-12 732
经常查 避免热点 尽量短，并且尽量长度一致
HBase概念学习（八）开发一个类twitter系统之表设计
jiq•钦's technical Blog
06-29 3121
这边文章先将可能的需求分析一下，设计出HBase表，下一步再开始编写客户端代码。 TwiBase系统 1、背景 为了加深HBase基本概念的学习，参考HBase实战这本书实际动手做了这个例子。 2、需求 这是一个用户推特系统，用户登陆到系统，需要维护用户的基本信息，然后用户可以发帖和其他用户进行互动。用户之间可以相互关注，用户可以浏览关注用户的推文等等。 这是一个比
HBase的RowKey设计原则
小黑的博客
05-19 613
HBase的RowKey设计原则 Rowkey长度原则 rowkey是一个二进制码流，可以为任意字符串，最大长度为64kb，实际应用中一般为10-100bytes，它以byte[]形式保存，一般设定成定长。 建议越短越好，不要超过16个字节，原因如下： （1）数据的持久化文件HFile中是按照KeyValue存储的，如果Rowkey过长比如100个字节，1000万列数据光Rowkey就要占用100...
hbase的rowKey的设计原则
lds_include
03-28 463
hbase的rowKey的设计原则. Rowkey长度原则 Rowkey 是一个二进制码流，Rowkey 的长度被很多开发者建议说设计在10~100 个字节，不过建议是越短越好，不要超过16 个字节。 原因如下： （1）数据的持久化文件HFile 中是按照KeyValue 存储的，如果Rowkey 过长比如100 个字节，1000 万列数据光Rowkey 就要占用100*1000 万=...
HBase RowKey设计原则（全面）
Universe — Higher and farther
12-04 5495
这篇HBase的行健设计原则文章主要依据HBase官方文档和一些相关文章总结而来，可以说是比较靠谱和全面的一个rowkey设计总结。主要还是分四块来介绍：RowKey的设计原则1. rowkey长度原则 2.rowkey散列原则 3.时间戳反转 Reversiong the Key 4. rowkey唯一原则。
HBase的rowkey设计原则
qq_32736999的博客
11-08 994
HBase的RowKey设计原则 1、rowkey长度原则 rowkey是一个二进制码流，可以是任意字符串，最大长度 64kb ，实际应用中一般为10-100bytes，以byte[] 形式保存，一般设计成定长。 建议越短越好，不要超过16个字节，原因如下： 目前操作系统都是64位系统，内存8字节对齐，控制在16个字节，8字节的整数倍利用了操作系统的最佳特性。 2 rowkey散列原则 ...
HBase 中RowKey的设计原则
timchen525的专栏
08-12 1034
HBase 中RowKey的设计原则
hbase的rowkey设计原则
最新发布
07-11
在设计HBase的RowKey时，可以考虑以下原则： 1. 唯一性：RowKey应该是唯一的，以确保不会发生冲突。可以使用时间戳、UUID或其他唯一标识符来作为RowKey的一部分。 2. 效率性：RowKey的设计应该考虑到查询和检索的效率。最好将常用查询的数据放在RowKey的前缀位置，这样可以减少数据扫描的范围。 3. 顺序性：HBase是按照RowKey的字典顺序进行存储和检索的，因此，如果RowKey按照一定的顺序进行设计，可以提高数据的读取效率。例如，可以将时间戳作为RowKey的一部分，使得最新的数据在存储时靠近一起。 4. 可分割性：HBase是分布式存储系统，数据会在集群中的不同节点上进行分布存储。为了实现负载均衡和并行查询，RowKey设计时应该具备可分割性，即可以将数据均匀地分散到不同的节点上。 5. 数据倾斜均衡：在设计RowKey时需要注意避免数据倾斜问题，即某些RowKey范围内的数据过于庞大，导致某些节点处理压力过大。可以通过哈希、预分区等方式来解决数据倾斜问题。 6. 具体业务需求：最重要的是根据具体的业务需求来设计RowKey。不同的业务场景可能对RowKey有不同的要求，例如，某些场景下需要支持范围查询，某些场景下需要支持快速的单条记录查询等。 综上所述，设计HBase的RowKey时应该考虑唯一性、效率性、顺序性、可分割性、数据倾斜均衡和具体业务需求等原则，以便实现高效的数据存储和查询。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值