Redis集群与分片策略：存储与查询五亿用户打卡情况的高效方案

从零开始学习人工智能

已于 2024-02-21 19:05:27 修改

阅读量350

点赞数 7

文章标签： redis java 数据库

于 2024-02-21 19:00:26 首次发布

本文链接：https://blog.csdn.net/weixin_41544125/article/details/136218709

版权

存储五亿用户的打卡情况并且需要统计每个用户一个月之内的签到情况是一个非常大的挑战，特别是在内存使用方面。在这种情况下，使用Redis的单一实例可能并不现实，因为即使是最先进的Redis实例也无法容纳这么多数据。因此，我们需要考虑使用Redis集群和分片策略来分散数据。

以下是一个使用Redis数据结构来存储和查询五亿用户打卡情况的方案：

数据结构选择

Hashes：每个用户的打卡记录仍然可以使用Hashes来存储。但是，由于数据量巨大，我们不能将所有用户的打卡记录都存储在一个Redis实例中。
Sorted Sets：为了统计每个用户一个月之内的签到情况，我们可以使用Sorted Sets。Sorted Sets的score可以是打卡的时间戳，value可以是用户的ID或其他标识信息。

存储策略

分片：将用户分成多个分片，每个分片存储在不同的Redis实例中。分片的键可以基于用户的ID进行哈希计算，以确保均匀分布。
时间范围分片：对于Sorted Sets，我们可以根据时间范围进行分片。例如，每个Redis实例存储一个月内的打卡记录。这样，当需要统计某个用户一个月之内的签到情况时，只需要查询对应的Redis实例即可。

import redis.clients.jedis.Jedis;  
import redis.clients.jedis.JedisPool;  
import redis.clients.jedis.JedisPoolConfig;  
import redis.clients.jedis.Tuple;  
  
import java.time.LocalDateTime;  
import java.time.format.DateTimeFormatter;  
import java.util.List;  
import java.util.Set;  
  
public class RedisUserSignInExample {  
  
    // 配置Redis连接池  
    private static JedisPool pool = new JedisPool(new JedisPoolConfig(), "localhost", 6379);  
  
    public static void main(String[] args) {  
        // 获取Jedis实例  
        try (Jedis jedis = pool.getResource()) {  
            // 假设当前时间是用户签到的时间  
            LocalDateTime now = LocalDateTime.now();  
            String userId = "user123"; // 假设用户ID  
            long timestamp = now.atZone(java.time.ZoneId.systemDefault()).toInstant().toEpochMilli();  
  
            // 存储用户签到记录到Sorted Sets  
            String key = "user_sign_in:" + userId + ":" + getMonthYear(now);  
            jedis.zadd(key, timestamp, userId);  
  
            // 统计用户一个月内的签到次数  
            Set<Tuple> tuples = jedis.zrangeWithScores(key, 0, -1);  
            long signInCount = tuples.size();  
            System.out.println("用户 " + userId + " 在 " + getMonthYear(now) + " 的签到次数: " + signInCount);  
  
            // 根据需要，可以删除过期的签到记录  
            // 例如，删除上个月的签到记录  
            String lastMonthKey = "user_sign_in:" + userId + ":" + getMonthYear(now.minusMonths(1));  
            jedis.del(lastMonthKey);  
        }  
    }  
  
    // 辅助方法：格式化日期为"YYYY-MM"格式  
    private static String getMonthYear(LocalDateTime dateTime) {  
        DateTimeFormatter formatter = DateTimeFormatter.ofPattern("yyyy-MM");  
        return dateTime.format(formatter);  
    }  
}

查询和更新策略

查询用户打卡记录：首先确定用户所属的分片，然后在该分片的Redis实例中查询Hashes来获取用户的打卡记录。
统计签到情况：根据用户ID和时间范围，确定对应的Redis实例和Sorted Sets，然后使用ZRANGE或ZREVRANGE等命令来统计签到情况。
更新打卡记录：在用户所属的分片的Redis实例中更新Hashes和Sorted Sets。