HBase rowKey应用场景设计

最新推荐文章于 2023-03-29 13:29:16 发布
最新推荐文章于 2023-03-29 13:29:16 发布
阅读量672 收藏
点赞数
分类专栏： HBase 文章标签： hbase rowkey
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a544258023/article/details/81126079
版权

需求：有一张数据表，其中包含手机号码字段。1. 查询一段时间内固定号码的所有数据 2. 查询一段时间内所有数据。

分析：HBase要想查询快速，只能从rowKey上下手，rowKey=phoneNum+时间 可以实现目标1，但是目标2很难实现，rowKey=时间+phoneNum 可以实现目标2，但是目标1很难实现，且数据量越来越大可能导致热点问题。

 

解决思路1：牺牲空间换时间，写数据时同时写入两张表，内容一样，只是一张表rowKey=phoneNum+时间，另一张表rowKey=时间+phoneNum。

解决思路2：牺牲部分空间部分时间，两张表，一张全量表，rowKey=phoneNum+时间，另一张索引表只存rowKey=时间+phoneNum，目标1通过scan全量表就可以实现，目标2先scan索引表然后批量get全量表。

 

如果大家有更好的方法欢迎交流。

         

雷禄辉
关注
专栏目录
HBase RowKey设计原理与代码实例讲解
AI天才研究院
07-30 377
HBase RowKey设计原理与代码实例讲解 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 1. 背景介绍 1.1 问题的由来 HBase是一个分
大白话彻底搞懂HBase RowKey详细设计
静待花开
05-08 2万+
本文从RowKey的原理，可能出现的问题，如何优化及各个优化措施对应的缺点和适用的场景，设计原则等角度对RowKey进行了详细全面的解析，相信一定能对你有所帮助。
hbase的应用场景和RowKey设计
单色冰灵的博客
03-06 352
HBase是什么? HBase是一个在HDFS上开发的面向列的分布式数据库,可以实时的访问超大规模数据集. Apache HBase是Hadoop数据库，一个分布式的、可伸缩的大数据存储。 Apache HBase是一个开源的、分布式的、版本化的、非关系的数据库 结构图: https://wenku.baidu.com/view/b2bd94946bd97f192379e941....
Hbase 的rowkey的 设计
wangjunji34478的专栏
05-11 820
Rowkey就是行键，hbase是nosql数据库，即然是数据库，最多就是增删改查。RowKey的字典序（byte order）排序存储，设计rowkey时，要充分利用排序存储的这个特性，将经常一起读取的行存储在一起。 rowkey从字面意思看行键的意思，hbase可以理解为一个nosql数据库，那么日常最多的就是增删改查。其实在增删改查的过程中rowkey就充当了主键的作用，它和众多的nosql数据库一样，可以唯一的标识一行记录。 roweky行键可以是任意字符串，在hbase内部，rowkey保存为字.
【Hbase】rowKey设计-业务场景（001）
qfzhangwei的专栏
04-26 529
1 Hbase认知 HBase data stores consist of one or more tables, which are indexed by row keys. Data is stored in rows with columns, and rows can have multiple versions. By default, data versioning for row...
HBase RowKey设计
cxu123321的博客
06-13 184
一篇文章带你快速搞懂HBase RowKey设计 digger30关注 Apache HBase logo 前面和大家分享了一些HBase入门基础知识。HBase作为一个数据库，在使用中无外乎增删改查操作，这些操作在HBase中都是和RowKey紧密相关的，所以优秀的RowKey设计方案是非常重要的。今天就来说说如何进行HBase的RowKey的设计。 RowKey的作用 RowKey在查询中的作用 HBase中RowKey可以唯一标识一行记录，在HBase中检索数据有以下三种方式：..
HBase之Rowkey设计
蒋含竹的博客
02-13 1875
HBase之Rowkey设计 Rowkey基础 Rowkey按自然顺序存储的，且具有唯一性，示例如下a_022 a_101 b_123 f_031 f_051 f_131 z_121 当数据是有序的时候，通常利用二分查找的方式进行点查询、范围查询是最有效的（hash只能进行点查）。HBase的Rowkey查询正是遵循这种规律。 Rowkey的查询可以分为两大类 Get 点查询，给定一个ro...
hbase rowkey设计3个实例
yang_zzu的博客
10-02 538
实例1： 问题 用户，角色(拥有优先级） 通过用户，能看到该用户的所有角色 通过角色，能查到所有该角色的用户 用户增加 角色增加 psn(用户表) rowkey（用户id） cf1（用户的基本信息） cf2(角色id = 优先级） 001 cf1:name=xiaoming;cf1:age=...
【学习笔记】HBase概念、原理、适用场景学习笔记
zuzhiang的博客
07-13 843
HBase是 Google BigTable 的开源实现。它是一种分布式、可扩展、稀疏数据、准实时查询、支持海量数据存储的NoSQL数据库。逻辑上，HBase的数据模型同关系型数据库很类似，数据存储在一张表中，有行有列。RowKey：行键，RowKey 是用来检索记录的主键。行键是有序存储的，因此为了提升查询效率可以把要同时读取的数据的行键设置的比较接近。访问 HBase Table 中的行，只有三种方式：通过单个 RowKey 访问通过 RowKey 的 Range（正则）全表扫描ColumnFamily
一文读懂 HBase 核心原理与应用场景
CREATE_17的博客
11-09 1183
HBase是大数据NoSQL领域里非常重要的分布式KV数据库，是一个高可靠、高性能、高伸缩的分布式存储系统，目前国内知名公司都有在大规模使用，社区也非常活跃。本文就是学习HBase的敲门砖...
HBase之rowkey设计原则和方法
glamour2015的博客
04-19 234
rowkey设计原则和方法 rowkey设计首先应当遵循三大原则： rowkey长度原则 rowkey是一个二进制码流，可以为任意字符串，最大长度为64kb，实际应用中一般为10-100bytes，它以byte[]形式保存，一般设定成定长。 一般越短越好，不要超过16个字节，注意原因如下： 1、目前操作系统都是64位系统，内存8字节对齐，控制在16字节，8字节的整数倍利用了操作系统的最佳特性。 2...
HBASE应⽤场景
weixin_44993107的博客
07-19 1763
这⾥的对象存储实际是中等对象存储，是对HDFS存储⽂件的⼀个缓冲过度，因为如果我们⼤量的1M或2M这种⼩⽂件直接存储在HDFS上，会对NAMENODE造成元数据维护的压⼒，所以在HBase中可以很好的做过度合并后在持久化到HDFS上。通过KyLin将Hive或kafka中的数据，来构建Cube，这些Cube会存储在HBase中，以供其他的应⽤或其他的系统做实时查询或实时展⽰。这⾥的时序数据是指随着时间⽽变化的数据，⽐如速度的展⽰，天⽓、温度、风速、车流量等等。⼀、Hbase能做什么？...
HBase热点(数据倾斜)问题
最新发布
qq_45275284的博客
03-29 478
热带发生再大量的client直接访问集群的一个或极少数个节点（访问可能是读、写或者是其它操作）。大量访问会使热点region所在的单个机器超出自身承受能力，引起性能下降甚至region不可用，这也会影响同一个RegionServer上的其它region,由于主机无法服务其它region的请求。某个小的时间段内，对HBase的读写请求集中到极少数的Region上，导致这些region所在的RegionServer处理数据请求量骤增，负载量偏大，而其它的RegionServer明显空闲。
HBase的预分区和rowkey设计技巧
weixin_44853953的博客
09-28 984
@TOC HBase的预分区 1、为何要预分区？ 增加数据读写效率 负载均衡，防止数据倾斜 方便集群容灾调度region 优化Map数量 2、如何预分区？ 每一个region维护着startRow与endRowKey，如果加入的数据符合某个region维护的rowKey范围，则该数据交给这个region维护。 3、如何设定预分区？ 1、手动指定预分区 hbase(main):001:0> create ‘staff’,‘info’,‘partition1’,SPLITS => [‘1000’
Hbase中的rowkey以及热点问题
热门推荐
宝罗Paul 的博客
05-06 2万+
一、Hbase中的每条记录的结构 Hbase的表组成：一个表可以理解成是行的集合，行（记录）是列族的集合，列族是列的集合。 (1) 列族column family：它是column的集合，在创建表的时候就指定，不能频繁修改。值得注意的是，列族的数量越少越好，因为过多的列族相互之间会影响，生产环境中的列族一般是一个到两个。 数据的持久化文件HFile中是按照Key-Value存储的，同一个列族...
hbase中的row key_一篇文章带你快速搞懂HBase RowKey设计
weixin_39603357的博客
12-21 1077
前面和大家分享了一些增删改查操作，这些操作在HBase中都是和RowKey紧密相关的，所以优秀的RowKey设计方案是非常重要的。今天就来说说如何进行HBase的RowKey的设计。RowKey的作用RowKey在查询中的作用HBase中RowKey可以唯一标识一行记录，在HBase中检索数据有以下三种方式：通过 get 方式，指定 RowKey 获取唯一一条记录通过 scan 方式，设置 sta...
Hbase 行键设计（rowkey） 实现多条件查询
Happy_wu的专栏
06-30 3501
转自：http://blog.csdn.net/alphags/article/details/53786777 摘要 本文主要内容是通过合理Hbase 行键（rowkey)设计实现快速的多条件查询，所采用的方法将所有要用于查询中的列经过一些处理后存储在rowkey中，查询时通过rowkey进行查询，提高rowkey的利用率，加快查询速度。行键（rowkey)并不是简单
HBase的rowkey设计
xuefengmiao的专栏
06-20 875
访问hbase table中的行，只有三种方式： 1 通过单个row key访问 2 通过row key的range 3 全表扫描 文中可能涉及到的API： Hadoop/HDFS:http://hadoop.apache.org/common/docs/current/api/ HBase: http://hbase.apache.org/apidocs/
HBase的Row Key设计
happy19870612's blog
11-14 4856
HBase中的行是以row key进行字典排序的，这种设计优化了scan的操作，将以将相关的行或者一起读取的行存储在临近的位置，以便于scan. 但是row key设计不好就会造成读写热点问题，造成大量客户端直接访问集群某一个或者极少数的节点，造成节点性能下降或者Region不可用。同时还会对其他Region或者业务造成影响。集群不能被充分使用。   首先我们得确保row key必须唯一，而且
HBase RowKey设计与协处理器应用解析
"本文档主要介绍了HBase的rowkey设计原则以及HBase的协处理器运用，旨在分享关于HBase的关键知识。" 在HBase这个分布式列式数据库中，rowkey的设计和协处理器的运用是非常关键的方面，对于系统的性能和功能扩展性...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值