Java Spring redisTemplate Scan 坑

最新推荐文章于 2024-07-18 10:23:48 发布
最新推荐文章于 2024-07-18 10:23:48 发布
阅读量3k 收藏
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xhyspring/article/details/87289338
版权

在此记录一下遇到的坑，原先代码里有使用keys, 后来使用scan。但发现redis CPU飙的很高。不得不切换回keys。

开发环境切记不要用redis 模糊查询，

 

 

xhyspring
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
在RedisTemplate中使用scan代替keys指令
oschina_40914891的博客
08-30 1万+
keys * 这个命令千万别在生产环境乱用。特别是数据庞大的情况下。因为Keys会引发Redis锁，并且增加Redis的CPU占用。很多公司的运维都是禁止了这个命令的 当需要扫描key，匹配出自己需要的key时，可以使用 scan 命令 scan操作的Helper实现 import java.io.IOException; import java.nio.charset.StandardChar...
redis java分页语句_spring中redisTemplate实现redis分页
weixin_33321740的博客
02-27 976
最近遇到需要将mysql表中数据缓存到redis中，而列表展示还需要采用分页来进行查询；最开始以为HASH结构能满足，后经网上查阅，利用ZSET及HASH结构存储数据即可实现redis分页。步骤如下：1. 首先利用ZSET将表A中的id以value形式进行存储，以及利用ZSET中score进行排序处理；2. 将表A中数据以HASH结构进行存储，id作为HASH中ke...
Java中用redisTemplate实现redis的scan命令
blog
06-25 5153
业务场景 思路分析 代码实现 注意事项 思路拓展 参考资料
Java教程：RedisTemplate如何存取数据并使用scan非阻塞删除
wfeil211的博客
12-01 3108
Java教程：RedisTemplate如何存取数据并使用scan非阻塞删除
Redis SCAN 命令
最新发布
Casual_Lei的博客
07-18 1362
SCAN命令用于遍历 Redis 数据库中的键，它是无阻塞的，支持增量迭代。该命令返回一个游标和一组元素，每次调用都会返回下一批元素，直到游标值为 0 表示遍历完成。cursor：游标的起始值，一般从 0 开始。：可选参数，用于模式匹配，只有匹配的键才会被返回。：可选参数，表示每次迭代返回的键的个数，默认值为 10。SCAN命令及其家族命令（SSCANHSCANZSCAN）是 Redis 中用于遍历大数据集的利器。它们通过游标实现增量遍历，避免了传统遍历命令（如KEYS。
redisTemplate使用scan模糊匹配key
qq_40847065的博客
02-05 4734
long start = System.currentTimeMillis(); //需要匹配的key String patternKey = "pay:*"; ScanOptions options = ScanOptions.scanOptions() .count(10000) //这里指定每次扫描key的数量 .match(patternKey).build(); RedisSerializer<String> redisSerializer = (RedisSerial
RedisTemplate中使用scan方法代替keys指令
vvv3171071的博客
11-30 1793
demo写到这步已经可以用了，注意传参的String pattern是要带*号的，比如我想查user_info:1、user_info:2等等数据，则匹配user_info:前缀（redis的key最好用枚举类+定义常量），此时传参的pattern即为"Keys会引发Redis锁（数据过多一直查询处理），并且增加Redis的CPU占用。但此demo会有一个问题：没法移动cursor，也只能scan一次，并且容易导致redis链接报错。当需要扫描key，匹配出自己需要的key时，可以使用 scan 命令。
Springboot 中RedisTemplate使用scan来获取所有的key底层做了哪些事情
yh4494的博客
04-24 2342
每次迭代next()都要判断是否数据集中还有数据，没有的话去redis中通过游标取下次一的数据集（2条）。然后将获取到数据集迭代器替换到游标中，上一个数据集回收（防止内存过大），使迭代器可以正常流转。
Spring MVC集成RedisTemplate
Claer_XX的博客
09-15 675
RedisTemplate集成到spring mvc
java redis scan6_Redis中通过scan命令获取key、value【Java实现】
weixin_33870147的博客
03-06 1495
需求：通过 Job 每秒去 Redis 中获取 Key 前缀为：“message:xxx:yyy:id: ”的所有 Value，Value以字符串类型存储，键值对存储量级：几百万。Redis中有一个经典的问题，在巨大的数据量的情况下，做类似于查找符合某种规则的 Key 的信息，有两种方式：1、通过 keys 命令，简单粗暴，由于Redis单线程这一特性，keys 命令以阻塞的方式执行。keys 命...
在Java中使用redisTemplate操作缓存
weixin_43770982的博客
03-21 404
背景 在最近的项目中，有一个需求是对一个很大的数据库进行查询，数据量大概在几千万条。但同时对查询速度的要求也比较高。 这个数据库之前在没有使用Presto的情况下，使用的是Hive，使用Hive进行一个简单的查询，速度可能在几分钟。当然几分钟也并不完全是跑SQL的时间，这里面包含发请求，查询数据并且返回数据的时间的总和。但是即使这样，这样的速度明显不能满足交互式的查询需求。 我们的下一个解决方案就...
redis scan 效率太慢_【Java程序猿必备系列】Redis连环问
weixin_39789857的博客
11-22 1127
Redis是什么参考：http://redisdoc.com/index.htmlRedis是C 语言开发的一个开源的(遵从 BSD 协议)高性能键值对(key-value)的内存数据库，可以用作数据库、缓存、消息中间件等。它是一种 NoSQL(not-only sql，泛指非关系型数据库)的数据库。Redis作为一种内存数据库的特点：性能优秀，数据在内存中，读写速度非常快，支持并发 1...
redis的hash存储scan()方法的坑
delight_sl的博客
07-24 6147
redis的hash存储scan方法的坑1、问题描述2、问题原因3、问题定位以及解决问题 1、问题描述 运用redisTemplate的哈希存储数据（少量数据）时，需要匹配key获取全部键值对时，可以使用 Cursor<Map.Entry<String, Object>> cursor = redisTemplate.opsForHash().scan(key, ScanOptions.NONE);方法。但是该方法执行次数达到一定量时，就会卡主，导致获取数据失败。 2、问题原因 因为
redisTemplate使用scan进行模糊查询
rui15111的博客
07-06 5594
scan的使用
集群模式下RedisTemplate使用Scan命令全节点模糊匹配key
热门推荐
不是很懂
08-20 2万+
为什么需要模糊匹配key？ 因为有时候，缓存的key设计的不合理，比如商品信息的缓存设计成:门店编码+商品id, 当我们需要查询一个门店下的所有商品缓存的时候，可能就需要获取这个门店编码下的所有商品信 息的key然后遍历获取门店下的所有商品。 为什么使用Scan？ 因为Keys是阻塞的，严重影响性能，官方不建议生产环境使用，取而代之的是Scan命令。 Scan命令怎么使用呢？ 语法：scan cursor [MATCH pattern] [COUNT count] 语法说明：[]里面的代表.
Spring Data 集成 Redis redisTemplate 封装 scan keys ，scan相比于keys的优势与缺点
Snails的博客
10-29 5124
Spring data 集成 redis keys 与 scan 的区别 keys redisconnection.keys keys 命令用于返回指定的正则表达式所匹配的所有key的列表，其所检索的是redis当前所使用的数据库(默认为0号数据库) 性能问题 由于每个Redis实例是使用单线程处理所有请求的，故keys命令和其他命令都是在同一队列排队等待执行的，如果keys命令执行时间长，则会阻碍其他命令的执行，导致性能问题。如果keys命令需要匹配非常多的key，则可能造成长期停顿。 redis
RedisTemplate使用SCAN命令扫描key替代KEYS避免redis服务器阻塞，无坑！完美解决方案
大爱猫plus的博客
10-17 1万+
先来鄙视下博客上很多人不懂瞎几把乱说还有大量转载误导群众，本文原创亲自验证方案。 话不多说先上代码，拿走即用。 long start = System.currentTimeMillis(); //需要匹配的key String patternKey = "pay:*"; ScanOptions options = ScanOptions.sc...
redistemplate查询大量key,单机scan扫描；RedisTemplate和StringRedisTemplate的区别
奔跑的菜鸡
12-31 3443
RedisTemplate和StringRedisTemplate的区别 StringRedisTemplate是继承RedisTemplate，但是两者的数据是不共通的；也就是说StringRedisTemplate只能管理StringRedisTemplate里面的数据，RedisTemplate只能管理RedisTemplate中的数据。 序列化策略两者也不同 StringRedisTemplate默认采用的是String的序列化策略，保存的key和value都是采用此策略序列化保存的。 Redis
stringRedisTemplate模式为Cluster，使用scan代替keys
m0_65981703的博客
09-13 1374
Cluster模式stringRedisTemplate使用scan替换keys
redistemplate模糊查询key Java
07-22
在使用 RedisTemplate 进行模糊查询时，你可以使用 Redis 的 SCAN 命令来实现。RedisTemplate 是 Spring Data Redis 提供的一个 Redis 客户端，它封装了许多常用的 Redis 操作方法。以下是一个使用 RedisTemplate 进行模糊查询的示例代码： ```java import org.springframework.data.redis.core.RedisTemplate; import org.springframework.data.redis.core.ScanOptions; import java.util.Set; public class RedisFuzzyQuery { private RedisTemplate<String, String> redisTemplate; public RedisFuzzyQuery(RedisTemplate<String, String> redisTemplate) { this.redisTemplate = redisTemplate; } public Set<String> fuzzyQueryKeys(String pattern) { ScanOptions options = ScanOptions.scanOptions().match(pattern).build(); return redisTemplate.keys(pattern); } } ``` 在上述代码中，RedisFuzzyQuery 类接受一个 RedisTemplate 对象作为参数，并提供了 fuzzyQueryKeys 方法来进行模糊查询。该方法使用 RedisTemplate 的 keys 方法来获取所有符合模糊查询条件的 key。 你可以在你的代码中实例化 RedisFuzzyQuery 类，并调用 fuzzyQueryKeys 方法来执行模糊查询。注意替换 "pattern" 为你实际需要的模糊查询条件，比如 "user_*"。 请确保在使用 RedisTemplate 之前已经正确配置了 Spring Data Redis，并注入了 RedisTemplate 对象。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值