redis从大量数据查找符合某些符合条件的key

查找符合某个条件比如前缀为cart_的key,这里我预先插入了一万条数据,在正式开始之前先说一下keys 指令的匹配规则:

keys pattern里面有3个通配符 分别是 *,?,[]

*:通配多个任意字符

?:通配单个字符

[]:通配数组内的某个字符

这些通配都可以组合使用,比如我插入了四个键

keys *l* //代表含有l的键
// "cdf_xl"、"abc_lele"
 

keys *_? //代表倒数第二个为_的键
//"1_c"

keys *[_xl]? //代表倒数第二个在[]里面的都会被返回
// "cdf_xl"、"abc_lele"、"1_c"

这里为了简单演示,就以cart打投的key查询

首先插入十万条数据,这里直接用stringRedisTemplate进行操作

@Autowired
private StringRedisTemplate template;
    @org.junit.Test
    public void testSet(){
        for(int i=0;i<100000;i++){
            template.opsForValue().set("cart_"+System.nanoTime(),i+"sf");
        }
    }

然后插入成功后,在命令行打开一个客户端,然后使用keys指令查询cart打头的键,发现客户端一直在返回键,而且期间不能进行操作,最后等了111.48s我才可以操作,这如果在线上使用显然是不可以接受的,这时候scan指令便出来了,他可以无阻塞地提取列表,他是通过一个迭代器,迭代器以0开始,每次获取都会返回上次的位置及取出的元素,当返回的位置为0时,迭代结束。但是不保证每次取出来的元素数量为指定数量,大概率符合。

执行下面命令,cursor代表迭代的位置 pattern则是模糊匹配的规则 count则是数量

这个就是从0开始查找以cart打头的大概100条数据

 scan 0 match cart* count 100

返回 "66048",可以用作下一次迭代

scan 66048 match cart* count 100

每次只返回一小部分的键,这样不会阻塞服务器,一下子在网络传输大量数据,个人感觉和前端一下子很多数据传过来导致页面崩溃,然后用分页解决差不多。但要值得注意的是使用迭代器的总时间是比keys指令要长的。

那么在程序运用是如何的呢?

@Autowired
private RedisTemplate redisTemplate;
public void getKey() {
        long start = System.currentTimeMillis();
        redisTemplate.keys("cart*");
        long end = System.currentTimeMillis();
        System.out.println(end - start);
        RedisConnection connection = RedisConnectionUtils.getConnection(redisTemplate.getConnectionFactory());
        Cursor<byte[]> result = connection.scan(new ScanOptions.ScanOptionsBuilder().count(10).match("cart*").build());
        long start1 = System.currentTimeMillis();
        //cursor有id和position这两个属性,id则对应 scan cursor 的cursor的值,poisition则是当前遍历到第几个
        while (result.hasNext()) {//这里可以改用for循环来获取指定数量的key
            String key=new String(result.next());
            //对key的操作,或者先放到一个集合里面,然后再进行后续操作
        }
        long end1 = System.currentTimeMillis();
        System.out.println(end1 - start1);
    }

大概就到这里

 

  • 8
    点赞
  • 21
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值