Redis 核心数据结构详细解析

Redis 核心数据结构详细解析

Redis 是一个支持多种数据结构的内存数据库，每种数据结构都针对特定场景优化。以下是 Redis 核心数据结构的详细介绍，包括其原理、特点、常用命令、以及应用场景。

---

一. String

定义
String 是 Redis 中最基本的数据类型，每个键对应一个值，值可以是字符串、整数或浮点数。

底层实现

• 使用动态字符串（SDS）实现，支持快速的字符串操作和内存优化。
• 对于数字值，支持自动识别并优化存储为整数或浮点数。

特点

• 最大存储容量为 512MB。
• 支持二进制安全，可存储任意格式数据。

常用命令

SET key value          # 设置键值对
GET key                # 获取键值
INCR key               # 数值自增
DECR key               # 数值自减
APPEND key value       # 在原值后追加
MSET key1 value1 key2 value2  # 批量设置键值

应用场景

1. 缓存：如商品详情页数据、热点用户信息。
2. 计数器：网站访问量统计（INCR）。
3. 分布式锁：通过 SET key value NX EX seconds 实现互斥锁。

在 Redis 中，String 类型可以存储任意二进制数据，因此在实际使用中，序列化和反序列化数据是非常常见的场景，尤其是当需要存储复杂的数据结构（如 Java 对象、JSON 数据、XML 数据等）时。以下是关于 String 类型序列化和反序列化的详细讲解：

1. 序列化方式

（1）JSON 格式

适用于多语言场景，存储的是可读性强的文本数据。

示例代码

使用 Jackson 或 Fastjson 库：

import com.fasterxml.jackson.databind.ObjectMapper;

public class RedisStringSerialization {
    private static final ObjectMapper objectMapper = new ObjectMapper();

    // 序列化
    public static String serializeToJson(Object obj) throws Exception {
        return objectMapper.writeValueAsString(obj);
    }

    // 反序列化
    public static <T> T deserializeFromJson(String json, Class<T> clazz) throws Exception {
        return objectMapper.readValue(json, clazz);
    }
}

优缺点

• 优点：格式通用、易于调试。
• 缺点：序列化结果占用空间较大，解析速度稍慢。

生产环境注意事项

• 问题：JSON 字符串可能过大，影响 Redis 性能。
  • 解决方案：尽量缩短字段名，避免嵌套层级过深。

---

（2）Java 序列化（JDK 原生序列化）

适用于纯 Java 环境，使用 ObjectOutputStream 和 ObjectInputStream。

示例代码

import java.io.*;

public class JavaSerialization {
    // 序列化
    public static byte[] serializeToBytes(Object obj) throws IOException {
        try (ByteArrayOutputStream bos = new ByteArrayOutputStream();
             ObjectOutputStream oos = new ObjectOutputStream(bos)) {
            oos.writeObject(obj);
            return bos.toByteArray();
        }
    }

    // 反序列化
    public static Object deserializeFromBytes(byte[] data) throws IOException, ClassNotFoundException {
        try (ByteArrayInputStream bis = new ByteArrayInputStream(data);
             ObjectInputStream ois = new ObjectInputStream(bis)) {
            return ois.readObject();
        }
    }
}

优缺点

• 优点：直接支持 Java 对象。
• 缺点：
  • 需要实现 Serializable 接口。
  • 序列化后的数据较大（包含类型信息）。
  • 跨语言支持较差。

生产环境注意事项

• 问题：存储大小可能引发 Redis 内存膨胀。
  • 解决方案：尽量使用轻量级的序列化方式（如 JSON 或 ProtoBuf）。

---

（3）ProtoBuf 或 Kryo（高性能序列化）

适用于高性能和低内存占用需求，推荐用于生产环境。

示例代码

使用 Kryo：

import com.esotericsoftware.kryo.Kryo;
import com.esotericsoftware.kryo.io.Input;
import com.esotericsoftware.kryo.io.Output;

import java.io.ByteArrayInputStream;
import java.io.ByteArrayOutputStream;

public class KryoSerialization {
    private static final Kryo kryo = new Kryo();

    // 序列化
    public static byte[] serializeToBytes(Object obj) {
        try (ByteArrayOutputStream baos = new ByteArrayOutputStream();
             Output output = new Output(baos)) {
            kryo.writeObject(output, obj);
            output.close();
            return baos.toByteArray();
        }
    }

    // 反序列化
    public static <T> T deserializeFromBytes(byte[] data, Class<T> clazz) {
        try (ByteArrayInputStream bais = new ByteArrayInputStream(data);
             Input input = new Input(bais)) {
            return kryo.readObject(input, clazz);
        }
    }
}

优缺点

• 优点：性能高、序列化后数据量小。
• 缺点：调试不方便（数据不可读），需要引入额外依赖。

生产环境注意事项

• 问题：ProtoBuf 或 Kryo 的使用门槛较高。
  • 解决方案：可以使用 Spring Boot 的 RedisTemplate 默认的 JSON 序列化器，兼顾可读性与性能。

---

2. Spring Boot RedisTemplate 的整合

配置 RedisTemplate 使用 JSON 序列化

import org.springframework.context.annotation.Bean;
import org.springframework.data.redis.connection.RedisConnectionFactory;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.data.redis.serializer.GenericJackson2JsonRedisSerializer;
import org.springframework.data.redis.serializer.StringRedisSerializer;

@Configuration
public class RedisConfig {

    @Bean
    public RedisTemplate<String, Object> redisTemplate(RedisConnectionFactory connectionFactory) {
        RedisTemplate<String, Object> template = new RedisTemplate<>();
        template.setConnectionFactory(connectionFactory);

        // 使用 String 序列化键
        template.setKeySerializer(new StringRedisSerializer());
        template.setHashKeySerializer(new StringRedisSerializer());

        // 使用 JSON 序列化值
        template.setValueSerializer(new GenericJackson2JsonRedisSerializer());
        template.setHashValueSerializer(new GenericJackson2JsonRedisSerializer());

        template.afterPropertiesSet();
        return template;
    }
}

存取数据示例

@Service
public class RedisService {
    @Autowired
    private RedisTemplate<String, Object> redisTemplate;

    public void saveObject(String key, Object value) {
        redisTemplate.opsForValue().set(key, value);
    }

    public <T> T getObject(String key, Class<T> clazz) {
        Object obj = redisTemplate.opsForValue().get(key);
        return clazz.cast(obj);
    }
}

---

3. 生产环境中的注意事项

数据大小

• Redis 单 Key 最大值为 512MB，但实际生产中应避免存储超过 1MB 的数据。
• 如果需要存储大数据，可以分片存储或直接使用专门的文件存储系统（如 MinIO）。

序列化性能

• 推荐使用高性能序列化工具（如 Kryo 或 ProtoBuf）以减少序列化时间和存储空间。
• 使用通用的 JSON 序列化工具（如 Jackson 或 Gson）以提高可读性。

数据一致性

• 序列化和反序列化的格式必须一致，确保版本兼容性（尤其是 Java 对象）。

备份与恢复

• 在生产环境中，可以通过备份 RDB 文件或启用 AOF（Append Only File）记录数据变化，确保数据安全。

---

二. Hash

定义
Hash 是用于存储键值对集合的映射类型，每个键值对都存储在 Hash 表中。

底层实现

• 小数据量：使用紧凑表（ZipList）。
• 大数据量：使用 Hash Table。

特点

• 更适合存储对象，每个字段可以独立访问。
• 每个 Hash 键最多支持 2^32 - 1 个字段。

常用命令

HSET key field value          # 设置字段值
HGET key field                # 获取字段值
HGETALL key                   # 获取所有字段和值
HINCRBY key field increment   # 数值字段自增
HDEL key field                # 删除字段

应用场景

1. 用户信息存储：如用户 ID 关联的用户名、年龄、邮箱等。
2. 配置数据：存储键值对结构的配置信息。

---

三. List

定义
List 是一个链表，按照插入顺序存储字符串，可以从两端插入和弹出。

底层实现

• 小数据量：使用紧凑列表（ZipList）。
• 大数据量：使用双向链表。

特点

• 适合顺序操作，支持从两端插入和弹出。
• 可用作队列、栈或实现阻塞队列。

常用命令

LPUSH key value       # 左侧插入
RPUSH key value       # 右侧插入
LPOP key              # 左侧弹出
RPOP key              # 右侧弹出
LRANGE key start end  # 获取指定范围的元素

应用场景

1. 消息队列：使用 List 实现生产者-消费者模型。
2. 任务队列：保存任务处理顺序。

---

四. Set

定义
Set 是一个无序集合，元素唯一。

底层实现

• 小数据量：使用紧凑表（IntSet）。
• 大数据量：使用 Hash Table。

特点

• 支持集合运算（交集、并集、差集）。
• 元素去重效果好。

常用命令

SADD key member         # 添加元素
SREM key member         # 移除元素
SMEMBERS key            # 获取所有元素
SINTER key1 key2        # 求交集
SUNION key1 key2        # 求并集

应用场景

1. 标签系统：用户兴趣标签管理。
2. 去重：如在线用户 ID 的去重。
3. 好友关系：用户的共同好友、关注列表等。

---

五. Sorted Set

定义
Sorted Set 是有序集合，每个元素有一个分值，按分值从小到大排序。

底层实现

• 小数据量：紧凑表（ZipList）。
• 大数据量：跳表（SkipList）。

特点

• 元素唯一，分值可重复。
• 支持范围查询和排名。

常用命令

ZADD key score member           # 添加元素及分值
ZRANGE key start end            # 按分值获取元素
ZREVRANGE key start end         # 按分值逆序获取元素
ZRANK key member                # 获取元素排名
ZINCRBY key increment member    # 增加元素分值

应用场景

1. 排行榜系统：如游戏排行榜、热点文章排名。
2. 延时队列：按时间戳设置分值，获取到期任务。

---

六. Stream

定义
Stream 是一种日志数据结构，适合存储时间序列或消息队列数据。

底层实现

• 使用日志结构，支持高效的追加和读取。

特点

• 支持消费组、消息确认和历史追溯。
• 是高级消息队列替代方案。

常用命令

XADD key * field value        # 添加消息
XRANGE key start end          # 按范围获取消息
XREAD COUNT n STREAMS key id  # 读取消息
XGROUP CREATE key groupname id # 创建消费组

应用场景

1. 实时日志：记录系统操作日志。
2. 消息队列：高效的事件分发机制。

---

七. Geo

定义
Geo 提供地理位置存储和操作功能，可存储经纬度并进行位置计算。

底层实现

• 基于 ZSET 实现，将地理坐标编码为分值。

特点

• 支持附近搜索、距离计算等功能。
• 可存储地理位置的名称或标识。

常用命令

GEOADD key longitude latitude member  # 添加地理位置
GEODIST key member1 member2 unit      # 计算距离
GEORADIUS key longitude latitude radius unit WITHDIST # 搜索范围内的位置

应用场景

1. 附近的人：LBS 服务，按范围搜索用户。
2. 位置管理：快递员位置跟踪。

---

总结：数据结构选择指南

数据结构	场景	优势
String	缓存、计数器、分布式锁	简单高效，操作直接。
Hash	存储用户信息、会话数据	结构清晰，字段独立操作。
List	消息队列、任务队列	支持队列和栈，操作灵活。
Set	标签管理、去重、好友关系	元素唯一，支持集合运算。
Sorted Set	排行榜、延时队列	数据有序，支持排名和范围查询。
Stream	日志记录、消息队列	时间序列支持丰富的消费模型。
Geo	地理位置服务、附近搜索	专为地理位置优化，支持 LBS 场景。