Redis Sorted Set 实战案例分析

最新推荐文章于 2023-06-14 18:14:26 发布
最新推荐文章于 2023-06-14 18:14:26 发布
阅读量3.3k 收藏
点赞数 1
分类专栏： 实战案例 文章标签： redis 系统架构
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Wildwolf_/article/details/123797005
版权

Redis Sorted Set 实战案例分析

没有最好的技术，只有最合适的技术。根据不同的业务场景，选用合适的技术实现，才是一个程序员应该做的事情。

本文通过引用企业中实际业务场景，记录设计思路和方案演进。此处不做具体技术讲解，重在系统设计思想和技术选型。

1. 需求背景

  • 用户端学员听课上传听课记录 和 管理端课件变更，都会引起学员班级听课率的变化，所以需要触发重新计算；

  • 上传听课记录 和 课件变更，带来的听课率重算，需要区分优先级，即优先处理学员听课导致的重算，次级处理课件变更导致的重算；

  • 管理端课件变更，重算数据需要去重，场景：多次变更同一班级下的多个课件，最终只需执行一次该班级-学员维度的数据重算即可，所以需要去重；

  • 重算听课率时，因业务逻辑要查询的数据量较多，为防止重算数据过多时，导致服务资源（CPU、内存等）和数据库压力过大，所以需要做消费限流。

功能实现总结：

  1. 数据优先级
  2. 重复数据去重
  3. 消费限流

2. 设计思路

2.1. 触发听课率重算

  1. 结合canal，监控课件表，有相关字段变化时触发重算；
  2. 在管理端课件变更的相关接口发送MQ消息，消费重算。
思考：
  1. 使用canal，监控相关数据库表，能够集中处理触发的条件，不用在众多的相关接口中添加代码发送消息，但是结合业务逻辑，所涉及的数据库表不一，所以不采用该方案；
  2. 在相关接口中发送MQ消息，虽然涉及的接口较多，但是更为直观，且不会频繁变更。
结论：
  1. 采用第二种，在相关接口中发送MQ消息，消费重算。

2.2. 数据优先级和消费限流

2.2.1. 数据优先级

a. 使用MySQL存储，单独设置一个字段表示优先级；

b. 使用Java自带的PriorityBlockingQueue优先队列；

c. 使用Redis的有序集合Sorted Set 或者 列表List。

思考：

a. MySQL存储，常规方案，虽然能实现，但是因为业务逻辑本身对MySQL的查询较多，所以会进一步增加MySQL的读写压力；

b. PriorityBlockingQueue，可以很容易的实现数据优先级，但是无法实现数据去重；

c. Redis的列表List，根据优先级使用List的LPush或RPush，可以实现数据优先级，且能分散该业务对MySQL的压力，但是无法实现数据去重；

d. Redis的有序集合Sorted Set，可以同时实现数据优先级和重复数据去重。

结论：
  1. 采用Redis的有序集合Sorted Set。
2.2.2. 消费限流

a. Semphore信号量

b. RabbitMQ配置 channel.basic-qos ，并且将 queue.auto-ack设置成false

思考：

a. Semphore在多线程访问时可以使用，但是此时是限制MQ消费速度，不适用。

结论：
  1. 使用RabbitMQ自身配置，设置basic-qos的数量。

3. 方案演进

3.1. MySQL实现

  • 新建数据待处理表，将管理端课件变更发送的MQ消息消费存储到待处理表中，再手动指定消费速度。
    MySQL实现

3.2. PriorityBlockingQueue

  • 采用Java优先队列，做数据优先级；
  • 数据存储在内存，服务重启会导致数据丢失，且存在内存溢出的风险，弃用。
    PriorityBlockingQueue

3.3. Redis Sorted Set

  • 采用redis的有序集合，做数据优先级和数据去重；
  • 计算听课率的数据存入redis，服务重启不会导致数据丢失；
  • 结合定时任务，从redis中取数据消费计算；
  • 定时任务加锁，保证不同节点不会取重复数据重复计算。
    Redis Sorted Set

4. 代码展示

  • 不同触发条件

/**
 * 保存或更新班级课件模块听课率
 *
 * @param consumerStatisticsBO 消费统计bo
 * @return boolean
 */
@Override
public boolean saveOrUpdate(CcConsumerStatisticsBO consumerStatisticsBO) {
    log.info("计算模块听课率 - saveOrUpdate -> consumerStatisticsBO:[{}]", consumerStatisticsBO);
    if (consumerStatisticsBO == null || consumerStatisticsBO.getConsumerTypeEnum() == null) {
        return false;
    }

    switch (consumerStatisticsBO.getConsumerTypeEnum()) {
        // 管理端课件变动
        case COURSEWARE_CHANGE:
            if (CollectionUtils.isEmpty(consumerStatisticsBO.getCoursewareIds())) {
                return false;
            }
            boolean noData = this.refreshModuleRateByCoursewareChange(consumerStatisticsBO);
            if (noData) {
                return true;
            }
            break;

        // 用户端听课记录上传
        case PLAY_RECORD:
            this.refreshModuleRateByPlayRD(consumerStatisticsBO);
            break;

        // 重算班级听课率
        case REFRESH_CLASS_RATE:
            this.refreshClassRate(consumerStatisticsBO);
    }

    return true;
}
  • 存入redis
/**
 * 添加计算数据到redis
 *
 * @param classModuleUserInfoBOList 班级模块用户详情bo集合
 */
private void addCalculateDataToRedis(List<CcClassModuleUserInfoBO> classModuleUserInfoBOList) {
    Set<DefaultTypedTuple> typedTupleSet = classModuleUserInfoBOList.parallelStream()
            .map(classModuleUserInfoBO -> {
                // 课件id置为null，用来在set中去重，实现去重计算模块听课率的数据（屌不屌0_0）
                classModuleUserInfoBO.setCoursewareId(null);
                return new DefaultTypedTuple(classModuleUserInfoBO, classModuleUserInfoBO.getPriority());
            })
            .collect(Collectors.toSet());
    redisTemplate.opsForZSet().add(RedisConst.CALCULATE_MODULE_STATS, typedTupleSet);
}
  • 定时任务取数据

/**
 * redis中单次取模块听课率计算数据的size
 */
@Value("${redis.calculate.module.stats.range.size}")
private Integer rangeSize;

/**
 * 计算模块统计数据
 * 每10秒执行一次，每次从redis取100条数据
 */
@Scheduled(cron = "0/10 * * * * ?")
public void calculateModuleStats() {
    log.info("定时任务 - CalculateModuleStatsSchedule - 开始执行");

    List<CcClassModuleUserInfoBO> classModuleUserInfoBOList = this.getClassModuleUserInfoFromRedis();
    if (!CollectionUtils.isEmpty(classModuleUserInfoBOList)) {
        classModuleUserInfoBOList.parallelStream()
                .forEach(classModuleUserInfoBO -> {
                    // 计算模块统计数据
                    try {
                        userClassSubdivisionStatisticsService.againCalculateClassModuleCourseRate(classModuleUserInfoBO);
                        // 在redis中移除该数据
                        Long remove = redisTemplate.opsForZSet().remove(RedisConst.CALCULATE_MODULE_STATS, classModuleUserInfoBO);
                        log.info("定时任务 - CalculateModuleStatsSchedule - 移除重算过的数据 -> redisTemplate.opsForZSet().remove：{}", remove);
                    } catch (Exception e) {
                        log.error("定时任务 - CalculateModuleStatsSchedule - 调用计算模块统计数据方法或redis.remove方法出错 -> 异常信息:{}",
                                ExceptionUtils.getStackTrace(e));
                    }
                });
    }
}

/**
 * 从redis获取计算班级模块听课率的数据
 *
 * @return {@link List<CcClassModuleUserInfoBO>}
 */
private List<CcClassModuleUserInfoBO> getClassModuleUserInfoFromRedis() {
    String lockKey = RedisConst.MODULE_STATS_SCHEDULE_LOCK;
    log.info("定时任务 - CalculateModuleStatsSchedule - 抢占锁 -> lockKey:{}, timeMillis:{}", lockKey, System.currentTimeMillis());
    RLock lock = redissonClient.getLock(lockKey);
    try {
        boolean tryLock = lock.tryLock(10, 30, TimeUnit.SECONDS);
        if (!tryLock) {
            log.error("定时任务 - CalculateModuleStatsSchedule - 获取锁失败 -> lockKey:{}, timeMillis:{}", lockKey, System.currentTimeMillis());
            return Collections.emptyList();
        }
    } catch (InterruptedException e) {
        log.error("定时任务 - CalculateModuleStatsSchedule - 获取锁失败 -> 异常信息:{}", ExceptionUtils.getStackTrace(e));
    }
    try {
        // 查看redis中是否有数据
        String redisKey = RedisConst.CALCULATE_MODULE_STATS;
        log.info("定时任务 - CalculateModuleStatsSchedule - redisKey：{}, timeMillis:{}", redisKey, System.currentTimeMillis());
        Long zCard = redisTemplate.opsForZSet().zCard(redisKey);
        log.info("定时任务 - CalculateModuleStatsSchedule - redis重算模块数据剩余数量zCard：{}, timeMillis:{}", zCard, System.currentTimeMillis());

        if (zCard == null || zCard <= 0) {
            return Collections.emptyList();
        }

        // 查看redis中是否有多节点不重复取数据标识，如果有，表示同一时刻只会有一个节点取数据
        String notRepeatRangeKey = RedisConst.MODULE_STATS_NOT_REPEAT_RANGE;
        Object notRepeatRange = redisTemplate.opsForValue().get(notRepeatRangeKey);
        if (!ObjectUtils.isEmpty(notRepeatRange)) {
            log.info("定时任务 - CalculateModuleStatsSchedule - notRepeatRange：{}, timeMillis:{}", notRepeatRange, System.currentTimeMillis());
            return Collections.emptyList();
        }

        // 获取从redis中range的开始下标
        String rangeStartKey = RedisConst.MODULE_STATS_RANGE_START;
        Object rangeStart = redisTemplate.opsForValue().get(rangeStartKey);
        long start = 0;
        if (rangeStart != null) {
            start = ((Integer) rangeStart).longValue();
        }
        long end = start + rangeSize - 1;
        if (end < start) {
            log.error("定时任务 - CalculateModuleStatsSchedule - 从redis中取数据的range下标错误 -> start:[{}], end:[{}], size:[{}]",
                    start, end, rangeSize);
        }
        log.info("定时任务 - CalculateModuleStatsSchedule - 从redis中取数据 -> start:[{}], end:[{}], size:[{}]", start, end, rangeSize);

        // 取数据
        Set range = redisTemplate.opsForZSet().range(redisKey, start, end);
        String jsonStr = JSONUtil.toJsonStr(range);
        List<CcClassModuleUserInfoBO> classModuleUserInfoBOList = JSONUtil.toList(jsonStr, CcClassModuleUserInfoBO.class);

        // 更新下次取数据的开始下标
        Long card = redisTemplate.opsForZSet().zCard(redisKey);
        long nextStart = 0;
        long remainNumber = 0;
        if (card != null && (remainNumber = card - end - 1) > 0) {
            nextStart = end + 1;
        }
        // 本次取出数据后，剩余0条数据，则其他节点不再重复取
        log.info("定时任务 - CalculateModuleStatsSchedule - 设置不同节点不重复取数据标识 -> remainNumber:[{}], remainNumber <= 0:{}",
                remainNumber, remainNumber <= 0);
        if (remainNumber <= 0) {
            log.info("定时任务 - CalculateModuleStatsSchedule - 设置不同节点不重复取数据标识 -> notRepeatRangeKey:[{}], timeMillis:{}",
                    notRepeatRangeKey, System.currentTimeMillis());
            redisTemplate.opsForValue().set(notRepeatRangeKey, 1, 8, TimeUnit.SECONDS);
        }
        log.info("定时任务 - CalculateModuleStatsSchedule - redis中还剩数据量：{}，下次取数据的开始下标：{}",
                remainNumber < 0 ? 0 : remainNumber, nextStart);
        redisTemplate.opsForValue().set(rangeStartKey, nextStart);

        return classModuleUserInfoBOList;
    } finally {
        lock.unlock();
        log.info("定时任务 - CalculateModuleStatsSchedule - 释放锁 -> timeMillis:{}", System.currentTimeMillis());
    }
}

5. 其他

欢迎大家关注微信公众号 “金日成长”，不定期分享 企业实战案例分析、Java技术 和 其他小知识等
金日成长

Wildwolf_
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Java容器笔记
yuyangbaby的博客
06-07 264
Java容器CollectionListVectorArrayListLinkedListSetSortedSetHashSetLinkedHashSetQueueDequeArrayDequeBlockingDequeBlockingQueueArrayBlockingQueueLinkedBlockingQueuePriorityBlockingQueueLinkedTransferQueueConcurrentLinkedQueueDelayQueueMapHashtableHashMapSynchr
支持优先队列操作的TreeSet
kiu000的专栏
01-19 776
支持优先队列操作的TreeSet 去重优先级队列
Redis有序集合(sorted set)使用
蜗牛学习笔记
02-18 8558
有序集合(sorted set)同时拥有“有序” 和 “集合”两种性质，集合性质保证有序集合只会包含各不相同的成员，而有序性质则保证了有序集合中的所有成员都会按照特定的顺序进行排列；在一般情况下，有序集合成员的大小由分值决定，而分值相同的成员的大小则由成员在字典序中的大小决定；成员的分值除了可以是数字外，还可以是表示无穷大的 +inf 或者表示无穷小的 -inf ；zadd命令，可以通过给定可选项类决定执行添加操作或是执行更新操作；因为Redis只提供了对成员分值执行加法计算的zincrby命令，没
三大集合---Set集合 超详细易懂，加案例分析
最新发布
YZZdear的博客
06-14 669
注意：先调用hashCode方法进行对比，如果最后返回的结果相同，则再调用equals方法。TreeSet构造器使用实现java.util.Comparator的匿名内部类。实体类实现Comparable 重写compareTo方法。HashCode和equals方法将其重写。但是set集合没有修改。没有fori的遍历方式。
进阶篇:优先级队列之PriorityBlockingQueue(十五)
打着吊瓶写代码的博客
04-13 3757
今天我们来讲下PriorityBlockingQueue这个队列，它是一个优先级队列，什么是优先级呢？意思就是我们可以定义队列中哪个元素可以先被取出！ 它与前面介绍的LinkedBlockingQueue不同的地方就是，它是可以定义优先级的！且入队的元素必须实现Comparable接口！ //优先级任务 class PriorityTask implements Runnabl
Redis设计与实战
11-19
实战部分，书中可能涵盖了如何在Web应用中使用Redis作为session存储，利用List进行发布订阅，使用Set进行去重，用Sorted Set实现排行榜，以及借助HyperLogLog进行基数估算等实际案例。同时，也会讲解如何在分布式...
Redis实战电子版
01-30
2. **Redis数据类型**：详细讲解Redis支持的数据类型，如字符串（String）、哈希（Hash）、列表（List）、集合（Set）和有序集合（Sorted Set），以及它们的使用场景和操作命令。 3. **持久化机制**：Redis的内存...
redis实战(PDF)
05-21
11. **实战案例**：书中会包含多个真实世界的应用案例，如计数器、缓存系统、排行榜、聊天室等，帮助读者将理论知识转化为实践经验。 12. **最佳实践与运维**：提供Redis在生产环境中的最佳实践，包括监控、报警、...
Redis+Jedis+案例实战（高清视频教程）.rar
01-21
Redis是一种高性能的键值对数据存储系统，常用于缓存、消息队列...结合实战案例，能够加深对Redis特性和Jedis操作的理解，提升开发效率。记得在学习过程中不断练习和探索，理论与实践相结合，才能更好地掌握这些技术。
redis实战 完整版下载
02-08
综上所述，“Redis实战”涵盖了Redis的基本概念、数据类型、操作命令、持久化、主从复制、事务、集群以及实际应用案例，为读者提供了全面了解和掌握Redis的途径。通过学习，开发者能够更好地运用Redis解决实际问题，...
Redis 集合（Sorted Set）方法使用详解
嘉禾嘉宁papa
12-23 8469
本文主要是介绍集合（SortedSet）中常见方法的使用，包括对应的java使用方式，ZADD、ZREM、ZSCORE、ZINCRBY、ZCARD、ZRANK、ZREVRANK、ZRANGE、ZREVRANGE、ZRANGEBYSCORE、ZREVRANGEBYSCORE、ZCOUNT、ZREMRANGEBYRANK、ZREMRANGEBYSCORE、ZINTERSTORE、ZUNIONSTORE、ZPOPMAX、ZPOPMIN、BZPOPMAX、BZPOPMIN
Redisson操作Redis之基础篇
热门推荐
undergrowth的专栏
06-01 4万+
记录redis的学习笔记  基础篇 redis是一个开源的，C语言编写、bsd协议的，键值对的缓存和存储的、通常被作为NoSql的内存数据库 键值包含--字符串、列表、集合、有序集合、散列表、位图、hyperloglogs set key value -->设置键值对 get key --获取键对应的值 getset key field--设置新的键值 并
使用Redis实现优先级队列
jeff_fangji的专栏
01-28 3043
优先级队列是一种如先进先出队列和堆栈数据结构的抽象数据类型。所不同的是每一个元素关联一个“优先级”。优先级高的元素比优先级低的元素优先得到处理。本文讲解如何基于Redis的SORTED SET数据类型实现优先级队列。 SORTED SET中元素关联一个SCORE，可以按SCORE有序查询元素。 优先级队列基本操作实现如下： is_empty: 查看队列是否为空。使用EXISTS命...
Redis实战(8)-SortedSet典型应用场景实战之游戏充值排行榜
qq_44601070的博客
11-17 115
Redis实战(8)-SortedSet典型应用场景实战之游戏充值排行榜
Redis实战运用之SortedSet
chuoyi3681的博客
12-04 224
今天星期一，满血回归。每天开心的工作，愉快的生活。 继上一篇Redis实战运用之SET更新有两天了，周末浪去了。今天接着上一篇分享下SortedSet，上一篇分享了SET的一些基本操作，例如像集合中添加元素、删除元素、取出元素，取交集，取并集等操作，（不了解的SET的，建议可以先去看下Red...
redis 学习笔记(六) sorted_set数据类型
无名小辈
11-08 1083
一.sorted_set数据类型的介绍 新的存储需求:数据排序有利于数据的有效展示,需要根据一种可以根据自身特征的排序方式 sorted_set数据----支持排序 需要的存储结构:新的存储模型,可以保存可排序的数据 sorted_set类型:在set的存储结构基础上添加可排序的字段 二.sorted_set数据类型的基本操作 1.添...
利用Redis Sorted Set实现排行榜功能
胃病的不良少彦
02-18 4843
Redis 有序集合(sorted set) 一、向集合中添加（多个）元素和元素分值 ZADD key score1 member1 [ score2 member2] 1. ZADD runoobkey 1 redis 2. ZADD runoobkey 2 mysql 3 java 二、遍历集合 ZRANGE XXX 0 -1 WITHSCORES 三、 获取有序集合的成员数 zcard ...
Redis实战(7)-SortedSet之认识有序集合(命令行与代码实战)
qq_44601070的博客
11-17 81
Redis实战(7)-SortedSet之认识有序集合(命令行与代码实战)
Redis zset （sorted set）存储结构
chmodzora的博客
03-27 1105
Redis 为什么用跳表而不用平衡树？ 本文是《Redis内部数据结构详解》系列的第六篇。在本文中，我们围绕一个Redis的内部数据结构——skiplist展开讨论。 Redis里面使用skiplist是为了实现sorted set这种对外的数据结构。sorted set提供的操作非常丰富，可以满足非常多的应用场景。这也意味着，sorted set相对来说实现比较复杂。同时，skiplist这...
Redis实战指南：数据类型与操作详解
"Redis实战中文版是一本介绍Redis数据库实用技术的书籍，涵盖了Redis的快速入门、数据类型及其操作等内容，旨在帮助读者深入理解和运用Redis。" 在第一章中，本书首先介绍了Key-Value存储系统的基本概念，包括...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值