hbase倒序查询_Hbase 查询Scan速度优化

通过为Hbase的Scan设置Family和扫描范围,将1000万条记录的查询时间从4秒优化至58毫秒。关键在于调整key设计,通过设置如'expo0'和'expoz'的范围来限制扫描数据,同时提到时间倒序的优化方法。此优化方法显著提高了查询效率。
摘要由CSDN通过智能技术生成

发表于 2020-06-11 18:27:41 by 月小升

成果:2020.06.11 两步改完,程序扫描1000万的Hbase从4秒,变成58ms

2020.06.11

第一步:为Scan 设置Family

Scan s = new Scan();

s.setFilter(filter1);

s.addFamily(Bytes.toBytes("cookie"));

设置Family 速度从1400ms 变成772 ms 依然不够快

第二步:设置扫描范围

一旦可以设置了范围,就快速多了。意味着key要重新设计,带上可以定位的范围即可。

String Start = "expo0";

String End = "expoz";

byte[] startRow = Bytes.toBytes(Start);

byte[] endRow = Bytes.toBytes(End);

Scan s = new Scan(startRow,endRow);

我的key设计这样 exposale6952020-04-01f482c1d0c8dedf133eb1a0e8b45f881f

后面f482c1d0c8dedf133eb1a0e8b45f881f 这一串 完全是乱码也可以扫描

String Start = "expo0";

String End = "expoz";

我设置扫描

String Start = "expo";

String End = "e

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值