redis 切片集群scan方法扫描大量key

weixin_44131214

已于 2022-06-23 16:52:58 修改

阅读量1.3k

点赞数

分类专栏： java后端文章标签： redis java

于 2022-06-23 16:26:20 首次发布

本文链接：https://blog.csdn.net/weixin_44131214/article/details/125427943

版权

在一次大型活动中，由于需要将数百万个以user为key、红包金额为value的Redis数据迁移至数据库，文章分析了不能使用keys方法的原因，选择了Scan方法并考虑到切片集群的特性，需要遍历所有实例。同时，为降低数据库压力和提高效率，采用了线程池处理。在实施过程中遇到了因序列化方式不一致导致的数据解析异常问题，阻塞了程序执行。

摘要由CSDN通过智能技术生成

一.场景

公司一次大型活动,用户参与活动打开既赠送一个见面红包,这些红包已key(user) -- value(红包金额)的形式存在redis中;后续发放提现红包需要将redis中红包落到数据库中;

二.分析

1.数据量较大,有几百万个key需要(根据key(业务前缀)扫描; 使用redisTemplate的keys方法会阻塞redis库,导致整个redis库不可用,影响其他业务;所以选择使用scan方法扫描;

2.考虑线上redis库使用的是切片集群,单个scan方法只会扫描一个实例,扫描出来的数据不完整;需要获取整个redis,切片集群实例的信息依次扫描;

3.考虑数据库批量保存,数据量太大对数据库的压力;

4.加快处理速度使用了线程池

三.代码实现

//相关引用
import io.lettuce.core.KeyScanCursor;
import io.lettuce.core.ScanArgs;
import io.lettuce.core.ScanCursor;
import io.lettuce.core.api.async.RedisKeyAsyncCommands;

import org.springframework.data.redis.connection.RedisConnection;

//见面红包线程池对象
private ExecutorService meetRedisSyncExecutor;

//线程池数量
private int redisSyncThreadCount = 500;

//见面红包线程池初始化
@PostConstruct
private void meetThreadPoolInit() {
   ThreadFactory threadFactory = buildThreadFactory("meetRedisSync-%d");
   meetRedisSyncExecutor = Executors.newFixedThreadPool(redisSyncThreadCount,thr