需求:通过 Job 每秒去 Redis 中获取 Key 前缀为:“message:xxx:yyy:id: ”的所有 Value,Value以字符串类型存储,键值对存储量级:几百万。
Redis中有一个经典的问题,在巨大的数据量的情况下,做类似于查找符合某种规则的 Key 的信息,有两种方式:
1、通过 keys 命令,简单粗暴,由于Redis单线程这一特性,keys 命令以阻塞的方式执行。keys 命令通过遍历查找,时间复杂度是 O(n)。Redis 库中 key 的数量越多,查找实现的代价越大,产生阻塞的时间越长。
2、通过 scan 命令,以非阻塞的方式实现 key 值的查找,绝大多数情况下是可以替代 keys 命令的,可选性更强。
代码实现
方法一:通过 scan 先获取以“message:xxx:yyy:id: ”为 Key 前缀的所有完整的 Key,再通过获取到的 Key 拿所有的 Value
/**
* 通过 key 获取 value
*
* pattern:message:xxx:yyy:id:
* limit:每次限制筛选的数量,不建议 Integer.MAX_VALUE
*/
public List assembleScanValues(String pattern, Long limit) {
List values = assembleScanKeys(pattern, limit);
return redisTemplate.opsForValue().multiGet(values)