hbase之scan的rowkey问题

最新推荐文章于 2022-12-05 22:03:38 发布
最新推荐文章于 2022-12-05 22:03:38 发布
阅读量3.7k 收藏 3
点赞数 1
分类专栏： Hbase 文章标签： Hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ruidongliu/article/details/9221637
版权
在使用HBase进行数据存储时，通过Scan操作获取RowKey时，发现原始插入的RowKey被处理成了一种特定格式。经过分析，发现处理仅涉及简单的拼接，并未进行译码。通过深入研究KeyValue类，发现在其toString方法中可以找到原始RowKey。通过跟踪keyToString方法，了解RowKey的构造方式，并编写了一个Util方法来提取真实RowKey。
摘要由CSDN通过智能技术生成

最近使用到hbase做存储，发现使用scan的时候，返回的rowkey并不是特别友好

 

例如我insert的rowkey是 xyz_123_abc

 

调用KeyValue的getKeyString方法返回的String为

 

Java代码 复制代码  收藏代码
  1. kv\x00\x0Bxyz_123_abc\x02kvobj\x00\x00\x011\xD7\xB9\xDD\x1B\x04  
kv\x00\x0Bxyz_123_abc\x02kvobj\x00\x00\x011\xD
最低0.47元/天 解锁文章
stevie
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hbase初始化并根据RowKey获取数据
xiaosongwahaha的博客
12-17 4221
接前面的文章“ HbaseTemplate配置进阶：利用Spring自动装配加载HbaseTemplate ” 1、java中的controller类： @Controller public class HbaseController { @Autowired private HbaseTemplate htemplate; HbaseInit hbaseInit =
Hbase表Scan方法获取rowkey
scyxm0426的专栏
04-18 2万+
/** *每次读取Hbase数据库Page_Size条 * @param entity */ public static void getContentFromHbase(HbaseExportEntity entity) { StringBuffer buffer = new StringBuffer(); ResultScanner scanner = null;
Hbase行键设计（rowkey）实现多条件查询
01-27
HBASE的使用跟业务逻辑有很强的关联性，就像本文里提到的例子使用ElasticSearch更合适。HBASE适合那种使用key-value模式的快速查询，多字段查询还是不适合它。 所以大家如果看本文的话，就全当是加深对hbase过滤器的理解吧，内容概括起来就是实现一个使用位运算的比较器。本文主要内容是通过合理hbase行键（rowkey)设计实现快速的多条件查询，所采用的方法将所有要用于查询中的列经过一些处理后
Hbase根据rowkey利用scan查询
学习、记录、分享
10-23 6859
1.rowkey以某个内容开头 Filter filtet = new PrefixFilter("ooo".getBytes()); 2.rowkey字符串包含方式 Filter filter = new RowFilter(CompareOp.EQUAL,new SubstringComparator("xxx")); 3.rowkey匹配正则方式 Filter filter2 = n...
Hbase scan通过rowkey条件查询
bug_love的博客
11-27 2万+
public static List> getList(String tableName,String starttime,String stoptime,String uuid,String muuid) throws IOException{ HTablePool pool = new HTablePool(configuration, 1000); uuid = "285
hbase倒序查询_HBase的rowkey排序和scan输出顺序
weixin_29728529的博客
12-23 1912
本文目的：搞清楚HBase里面行与行之间的排序排序规则，如何正序和反序输出扫描结果。明确：HBase里面同一列的元素按照rowkey进行排序，排序规则是rowkey的ASCII码排序，小的在前大的在后。举例说明：rowkey的时间设计是Long.MAX_VALUE减去真实的timestamp(单位：秒)(System.currentTimeMillis()/1000得到)，由此来看rowkey的排...
HBase的 rowkey 设计原则
longzorg_cn的博客
12-05 1198
hbase所谓的三维有序存储的三维是指：rowkey（行主键），column key(columnFamily+qualifier)，timestamp(时间戳)三部分组成的三维有序存储。rowkey是行的主键，而且hbase只能用个rowkey，或者一个rowkey范围即scan来查找数据。所以 rowkey的设计是至关重要的，关系到你应用层的查询效率。rowkey是以字典顺序排序的，存储的是字节码。**Rowkey设计原则**1.Rowkey的唯一原则必须在设计上保证其唯一性。由于在HBase中数据存储
hbase中根据Rowkey后缀进行查询
蜗牛^_^的博客
11-23 1万+
假如hbase表设计时，Rowkey设计为“time+uid”（这里不考虑hbase的Rowkey设计合理性，只是简单说明）。现在有一个需求，筛选出某一uid在一个时间段[time1,time2)的值，该怎么办呢？
HBase的RowKey设计原则含案例(全)
BOOLTechnology的博客
03-01 2953
HBase的rowkey设计原理和案例分享
hbase查询列表数据返回rowKey
User_xiangpeng的专栏
11-07 3664
设计了rowKey，查询列表却没有返回rowKey这个字段？ 因公司业务的需要，返回列表数据还需要做详情的查询，那首选当然是根据rowKey去查，性能好呀！一顿操作猛如虎，列表使用scan加rowKey模糊匹配扫描只返回固定条数的数据，但是拿到整行数据却没有看到rowKey？不科学，咋可能不返回呢？搜了下，相关资料比较少，某歌还是比较强大的，来，看代码： Scan scan = n...
HBase实践——HBase rowkey 设计实践总结小记
qq_41018861的博客
06-28 543
背景： 针对在hbase使用Scan+Filter进行查询时，必须要设置startKey和stopKey，限制扫描的范围分区，大数据量情况下不设置所要查询的分区会导致全表扫描。 由于需要设置分区，即startKey和stopKey，那么我们需要设计好我们的rowKey,目前没有发现适用所有情况的完美的rowKey设计方案，都需要根据业务和数据来进行合理的设计我们的rowKey。比如我们业务中，需要以某个字段的值作为查询条件，那么这个字段的值就可以作为rowKey的一部分，注意了，这里说的是作为rowKe
[HBase基础]--RowKey查询(Scan和Get比较)
热门推荐
欢迎来到我的博客，一起探索代码里的世界！
05-05 2万+
一、HBase查询方式    hbase的查询实现只提供两种方式：按指定rowkey获取唯一一条记录：get方法。按指定条件获取一批记录：scan方法。    实现条件查询功能使用的就是scan方式，scan在使用时有以下几点值的注意：scan可以通过setCaching与setBatch方法提高速度（以空间换时间）scan可以通过setStartRow与setEndRow来限定范围。范围越小，性...
Hbase之RowKey设计
lslslslslss的博客
01-05 1053
1.什么是Rowkey RowKey是Hbase中一行数据的记录，Hbase通常通过get（得到特定rowkey的一行的数据），scan（通过startRow和stopRow确定范围来检索），全表扫描的方式检索数据。 2.rowkey在Region中的作用 当大量请求访问HBase集群的一个或少数几个节点，造成少数RegionServer的读写请求过多、负载过大，而其他RegionServer负载却很小，这样就造成热点现象。大量访问会使热点。Region所在的主机负载过...
HBase表的RowKey设计、热点和二级索引
凉茶铺的博客
10-31 1113
对HBase表的RowKey设计、热点和二级索引进行了简要的说明
HBase的rowkey排序和scan输出顺序
weixin_33989058的博客
01-17 1180
本文目的：搞清楚HBase里面行与行之间的排序排序规则，如何正序和反序输出扫描结果。 明确： HBase里面同一列的元素按照rowkey进行排序，排序规则是rowkey的ASCII码排序，小的在前大的在后。 举例说明：rowkey的时间设计是Long.MAX_VALUE减去真实的timestamp（单位：秒）（System.currentTimeMillis()/1000得到），由此来看ro...
Hbase的Rowkey设计原则
m0_61607827的博客
03-21 762
一、Hbase介绍 HBase -> Hadoop Database，HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式,主要用来存储非结构化和半结构化的松散数据（列存NoSQL数据库） 二、设计原则 2.1Rowkey长度原则 Rowkey是一个二进制码流，Rowkey的长度被很多开发者建议设计在10-100个字节，不过建议是越短越好，不要超过16个字节...
hbase scan rowkey前缀 反向
最新发布
05-30
可以使用 HBase 中的 Reverse Scan（反向扫描）功能来实现按照 RowKey 前缀进行反向扫描。具体而言，你可以将 RowKey 前缀反转（Reverse Prefix），然后将反转后的前缀作为起始 RowKey，再将原始的 RowKey 前缀反转...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值