hbase RowKey设计

最新推荐文章于 2024-06-05 15:42:43 发布
最新推荐文章于 2024-06-05 15:42:43 发布
阅读量73 收藏
点赞数
分类专栏： hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39674417/article/details/113757457
版权

一条数据的唯一标识就是RowKey，那么这条数据存储于哪个分区，取决于RowKey处于哪个一个预分区的区间内，设计RowKey的主要目的 ，就是让数据均匀的分布于所有的region中，在一定程度上防止数据倾斜。接下来我们就谈一谈RowKey常用的设计方案。

生成随机数、hash、散列值

比如：

原本rowKey为1001的，SHA1后变成：dd01903921ea24941c26a48f2cec24e0bb0e8cc7

原本rowKey为3001的，SHA1后变成：49042c54de64a1e9bf0b33e00245660ef92dc7bd

原本rowKey为5001的，SHA1后变成：7b61dec07e02c188790670af43e717f0f46e8913

在做此操作之前，一般我们会选择从数据集中抽取样本，来决定什么样的rowKey来Hash后作为每个分区的临界值。

字符串反转

20170524000001转成10000042507102

20170524000002转成20000042507102

这样也可以在一定程度上散列逐步put进来的数据。

字符串拼接

20170524000001_a12e

20170524000001_93i7

青龙悟空
关注
专栏目录
HBase RowKey设计原理与代码实例讲解
程序员光剑
07-30 339
HBase RowKey设计原理与代码实例讲解 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 1. 背景介绍 1.1 问题的由来 HBase是一个分
大数据性能调优之HBase的RowKey设计
codepython的专栏
01-23 1384
1 概述 HBase是一个分布式的、面向列的数据库，它和一般关系型数据库的最大区别是：HBase很适合于存储非结构化的数据，还有就是它基于列的而不是基于行的模式。 既然HBase是采用KeyValue的列存储，那Rowkey就是KeyValue的Key了，表示唯一一行。Rowkey也是一段二进制码流，最大长度为64KB，内容可以由使用的用户自定义。数据加载时，一般也是根据Rowke
Hbase rowkey 设计
daqu1314的博客
06-10 113
第一种: rowkey长度原则 rowkey是一个二进制码流，可以是任意字符串，最大长度64kb，实际应用中一般为10-100bytes，以byte[]形式保存，一般设计成定长。 建议越短越好，不要超过16个字节, 第二种: rowkey散列原则 假如rowkey按照时间戳的方式递增，不要将时间放在二进制码的前面，建议将rowkey的高位作为散列字段，由程序随机生成，低位放时间字段，这样将提高数据均衡分布在每个RegionServer，以实现负载均衡的几率。如果没有散列字段，首字段直接是时间信息，所
HBase Rowkey 设计
harleylau的博客
01-05 366
HBase中的rowkey唯一的决定了一行数据，使用HBase的场景多种多样， rowkey设计的好坏很大程度上决定了应用场景中的执行效率。 通过具体的一个场景样例，简单的研究一下在Hbase的rowkey设计上的一些原则。 样例场景 假设当前有一个网上商城系统， 需要实现用户拉取历史订单的需求。当然， 在历史订单量比较少的时候，简单的使用mysql就能很好的支持需求，但是当数据量到一定量级，...
Hbase中Rowkey的设计方法
最新发布
qq_39889944的博客
06-05 667
对Hbase中Rowkey的设计方法进行汇总
HBase的rowKey设计技巧
weixin_42487706的博客
08-07 276
HBase是三维有序存储的，通过rowkey（行键），column key（column family和qualifier）和TimeStamp（时间戳）这个三个维度可以对HBase中的数据进行快速定位。 HBase中rowkey可以唯一标识一行记录，在HBase查询的时候，有以下几种方式： 通过get方式，指定rowkey获取唯一一条记录 通过scan方式，设置startRow和stopR...
HBase RowKey设计
爱是与世界平行
10-26 1691
检索habse的记录首先要通过row key来定位数据行。当大量的client访问hbase集群的一个或少数几个节点，造成少数region server的读/写请求过多、负载过大，而其他region server负载却很小，就造成了“热点”现象。
hbase:rowkey设计
bcsix的博客
11-08 657
hbase:rowkey设计原则和案例
HBase概念学习（八）开发一个类twitter系统之表设计
jiq•钦's technical Blog
06-29 3143
这边文章先将可能的需求分析一下，设计出HBase表，下一步再开始编写客户端代码。 TwiBase系统 1、背景 为了加深HBase基本概念的学习，参考HBase实战这本书实际动手做了这个例子。 2、需求 这是一个用户推特系统，用户登陆到系统，需要维护用户的基本信息，然后用户可以发帖和其他用户进行互动。用户之间可以相互关注，用户可以浏览关注用户的推文等等。 这是一个比
mysql 唯一记录_在数据库中能够唯一地标识一个记录被称为 MySQL数据库使用教程...
weixin_35019679的博客
02-27 3896
主关键字(主键，primary key)是表中的一个或多个字段，它的值用于唯一地标识表中的某一条记录。在数据库中能够唯一地标识一个记录被称为主键。主键是数据库中具有唯一性的字段，也就是说数据表中的任意两条记录都不可能拥有相同的主键字段。(推荐学习：MySQL视频教程)在两个表的关系中，主关键字用来在一个表中引用来自于另一个表中的特定记录。主关键字是一种唯一关键字，表定义的一部分。一个表的主键可以由...
Hbase的RowKey设计
hunter95671的博客
12-08 540
1.Rowkey的唯一原则 Rowkey必须在设计上保证其唯一性。由于在HBase中数据存储是Key-Value形式，若HBase中同一表插入相同Rowkey，则原先的数据会被覆盖掉(如果表的version设置为1的话)，所以务必保证Rowkey的唯一性 2. Rowkey的排序原则 HBase的Rowkey是按照ASCII有序设计的，我们在设计Rowkey时要充分利用这点。比如视频网站上对视频的弹幕信息，这个弹幕是按照时间倒排序展示视频里，这个时候我们设计的Rowkey要和时间顺序相关。可以使用”Long
实战开发：hbase行键设计及降低region热点的出现
java1440657916的博客
08-15 602
在聊这个问题前，搞明白为什么要设计rowkey？（精心整理的说辞） Hbase 分布式 列式 内存数据库。有着很高的读写性能。在olap即时分析越来越发挥重要的作用，HBase查询只能通过其Rowkey来查询(Rowkey用来表示唯一一行记录)，Rowkey设计的优劣直接影响读写性能。 先谈几个原则： 1.（为什么）Rowkey的长度原则 Rowkey长度设计原则：Rowkey是一个二进制，Row...
HBase之Rowkey设计总结及易观方舟实战篇
数据之路
06-02 6436
一、引言 HBase由于其存储和读写的高性能，在OLAP即时分析中越来越发挥重要的作用，在易观精细化运营产品--易观方舟也有广泛的应用。作为Nosql数据库的一员，HBase查询只能通过其Rowkey来查询(Rowkey用来表示唯一一行记录)，Rowkey设计的优劣直接影响读写性能。HBase中的数据是按照Rowkey的ASCII字典顺序进行全局排序的,有伙伴可能对ASCII字典序印象不够深刻，...
总结：HBase的rowkey设计
w2009211777的专栏
04-01 4081
参考：一篇文章带你快速搞懂HBase RowKey设计 一、RowKey在查询中的作用 HBase中RowKey可以唯一标识一行记录，在HBase中检索数据有以下三种方式： 通过 get 方式，指定 RowKey 获取唯一一条记录 通过 scan 方式，设置 startRow 和 stopRow 参数进行范围匹配 全表扫描，即直接扫描整张表中所有行记录 二、rowkey设计技巧 1、越高频的查询字段排列越靠左 下面根据一个例子分别介绍下根据RowKey进行查询的时候支持的情况。 如果我们Ro
hbase 的Rowkey设计方案
健康平安的活着的专栏
08-05 4746
1.1hbase的概述 HBase由于其存储和读写的高性能，在OLAP即时分析中越来越发挥重要的作用。作为Nosql数据库的一员，HBase查询只能通过其Rowkey来查询(Rowkey用来表示唯一一行记录)，Rowkey设计的优劣直接影响读写性能。 由于HBase是通过Rowkey查询的，一般Rowkey上都会存一些比较关键的检索信息，我们需要提前想好数据具体需要如何查询，根据查询方...
HBase之rowkey设计原则和方法
热门推荐
qq_38180223的博客
06-30 3万+
rowkey设计原则和方法rowkey设计首先应当遵循三大原则：rowkey长度原则rowkey是一个二进制码流，可以为任意字符串，最大长度为64kb，实际应用中一般为10-100bytes，它以byte[]形式保存，一般设定成定长。一般越短越好，不要超过16个字节，注意原因如下：1、目前操作系统都是64位系统，内存8字节对齐，控制在16字节，8字节的整数倍利用了操作系统的最佳特性。2、hbase...
Hbase之rowkey设计原则和方法
weixin_51473488的博客
02-28 3597
hbase之rowkey设计原则和实际方法
HBASE中rowkey的设计原则
wyqwilliam的博客
11-25 325
Rowkey 设计三原则  1、 rowkey 长度原则 　　Rowkey 是一个二进制码流，Rowkey 的长度被很多开发者建议说设计在 10~100 个字节，不 过建议是越短越好，不要超过 16 个字节。 　　原因如下： 　　　　1、数据的持久化文件 HFile 中是按照 KeyValue 存储的，如果 Rowkey 过长比如 100 个字 节，1000 万列数据光 Rowkey ...
hbase rowkey设计
06-03
在 HBase 中，RowKey 是数据的唯一标识符，它决定了数据的分布和存储位置。因此，RowKey 的设计非常重要，需要根据具体的业务场景进行合理的设计。 以下是一些常见的 RowKey 设计原则： 1. 唯一性：RowKey 必须是...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值