数据随机分页实现方案

 

导语 | 网上搜到的方法，是使用数据库的随机排序ORDER BY RAND()进行的，较大数据的时候，显然就不好使了，而且在数据库层面进行随机分页就比较困难，无法保证基础的有序性，因此需要考虑其他方法来进行实现：数据库+redis+List洗牌的方式就孕育而生。

问题产生

公司业务遇到此场景：在前端分页展示数据时，为了让每个数据都有相同的几率被展示，每次分页展示数据时，都是随机展示的，并要求每一页之间数据不能重复；而且，优先展示最近三天的上传的数据，用户看完数据后，继续加载三天前又三天的数据。

 

此时大概率会有一会有以下痛点：

1. 有用户一直传数据，就会出现这个用户数据占满一页；
2. 越晚上传的数据曝光量会越好，越早上传的数据曝光量越差；
3. 类似这种3天又3天数据如何加载？；

因此提出这个需求；数据需要随机分页出现。

问题分析与解决

分析一

遇到这种问题，单纯的使用数据库就不好使了，况且数据库本身就比较脆弱；因此，我想到引入第三方工具：redis，而其我们软件本身就使用redis；使用redis性能也会得到极大提升，主要用到redis list 的方法；

分析二

针对问题一，同一用户数据占满一页，以及问题二的解决办法；大脑跳出来的方法就是数据随机选择，这时我想到通过list洗牌的方法。

分析三

问题三，用户看完数据后继续加载后面的数据，类似【懒加载】；解决办法：当用户刷数据到最后一页的时候，就触发【懒加载】，数据追加到redis list里面。

实现步骤与部分代码

1. 查询三天的数据，把主键id list 洗牌放入redis list；

java复制代码// 使用 package java.util.Collections;
    /**
     * Randomly permutes the specified list using a default source of
     * randomness.  All permutations occur with approximately equal
     * likelihood.
     */
    public static void shuffle(List<?> list) {
        Random rnd = r;
        if (rnd == null)
            r = rnd = new Random(); // harmless race.
        shuffle(list, rnd);
    }

java复制代码    /**
     * 追加Lisit
     *
     * @param key 关键字
     * @param list 列表
     * @param expireTime 有效期
     * @return boolean
     */
    public Boolean addAll(String key, List list, Long expireTime) {
        try {
            redisTemplate.opsForList().rightPushAll(key, list);
            redisTemplate.expire(key, expireTime, TimeUnit.SECONDS);
            return true;
        } catch (JedisException e) {
            handleJedisException(e);
            throw e;
        } finally {
            RedisConnectionUtils.unbindConnection(Objects.requireNonNull(redisTemplate.getConnectionFactory()));
        }
    }

这里需要注意，设置key的有效期；否则，你懂的！！！

 

2. 触发数据【懒加载】

java复制代码    /**
     * 构建分页数据
     * @param so 入参
     * @param key redis key
     * @param dayKey 天数区间的key
     * @return page
     */
    private IPage<PictureAlbumForUserDTO> buildPage(PublishedPictureAlbumSO so, String key, String dayKey) {
        Long total = redisUtil.listSize(key);
        long toIndex = so.getSize() * so.getPage();
        if (toIndex > total) { // 用户加载到最后一页，触发【懒加载】
            // 发现池，加载更多数据
            String dayValue = redisUtil.get(dayKey);
            String[] dayValueArray = dayValue.split("#");
            long start = Long.parseLong(dayValueArray[0]) - rangeDay;
            long end = Long.parseLong(dayValueArray[1]) - rangeDay;
            if (appendList(key, dayKey, start, end)) {
            	// 递归调用；递归后，数据追加到redis
                return buildPage(so, key, dayKey);
            } else {
                toIndex = total;
            }
        }
		// 根据下标获取redis里面分页数据
        List list = redisUtil.listRange(key, so.getSize() * (so.getPage() - 1), toIndex);
        if (CollectionUtil.isEmpty(list)) {
            return null;
        }
        so.setAlbumIdList(list);
        // 因为进行list id 分页，这里默认去数据库里查询第一页就行了
        so.setPage(1);
        Page<PictureAlbumForUserDTO> pageData = new Page<>(so.getPage(), so.getSize());
        IPage<PictureAlbumForUserDTO> iPage = baseMapper.findAllActive(pageData, so);
        List<PictureAlbumForUserDTO> dtoList = iPage.getRecords();
        Collections.shuffle(dtoList);
        iPage.setRecords(dtoList);
        iPage.setTotal(total);
        iPage.setSize(so.getSize());
        iPage.setCurrent(so.getPage());
        iPage.setPages((total + so.getSize() - 1) / so.getSize());
        return iPage;
    }

java复制代码    /**
     * 读取redis lisit 区间数据
     *
     * @param key 关键字
     * @param start 开始下标
     * @param end 结束下标
     * @return boolean
     */
    public List listRange(String key, long start, long end) {
        try {
            return redisTemplate.opsForList().range(key, start, end);
        } catch (JedisException e) {
            handleJedisException(e);
            throw e;
        } finally {
            RedisConnectionUtils.unbindConnection(Objects.requireNonNull(redisTemplate.getConnectionFactory()));
        }
    }

3. 每页数据随机展示

如何想让用户每一页看到的数据不一样；分页的数据可以再进行洗牌，而且不会打乱数据池整体的数据排列，有种【千人千面】的错觉；缺点就

是用户可能会觉得，你的分页数据存在问题。

 

总结

介绍了一种实现随机分页的方案，关键在与数据库结合redis的使用和list的洗牌，这种方法从效率和使用性性都比较高的；对付万级核心数据的随机分页，应该是没有问题的。