Redis集群-分布式缓存

最新推荐文章于 2023-09-12 10:51:33 发布

啵啵肠

最新推荐文章于 2023-09-12 10:51:33 发布

阅读量714

点赞数 3

文章标签： redis 缓存分布式

本文链接：https://blog.csdn.net/qq_38682924/article/details/126899407

版权

Redis集群-分布式缓存

基于Redis集群解决单机Redis存在的问题

单机的Redis存在四大问题：

1.Redis持久化

1.1RDB持久化

RDB全称Redis Database Backup file(Redis数据备份文件) 也被叫做Redis数据快照

简单来说就是把内存中的所有数据都记录到磁盘中

当Redis实例故障重启后从磁盘读取快照文件恢复数据快照文件称为RDB文件默认是保存在当前运行目录

1.1.1执行时机

RDB持久化在四种情况下会执行：

执行save命令
执行bgsave命令
Redis停机时
触发RDB条件时

1）save命令

save命令会导致主进程执行RDB 这个过程中其它所有命令都会被阻塞只有在数据迁移时可能用到

2）bgsave命令

下面的命令可以异步执行RDB：

这个命令执行后会开启独立进程完成RDB 主进程可以持续处理用户请求不受影响

3）停机时

Redis停机时会执行一次save命令实现RDB持久化

4）触发RDB条件

Redis内部有触发RDB的机制可以在redis.conf文件中找到

# 900秒内，如果至少有1个key被修改，则执行bgsave ， 如果是save "" 则表示禁用RDB
save 900 1  
save 300 10  
save 60 10000

RDB的其它配置也可以在redis.conf文件中设置：

# 是否压缩 ,建议不开启，压缩也会消耗cpu，磁盘的话不值钱
rdbcompression yes

# RDB文件名称
dbfilename dump.rdb  

# 文件保存的路径目录
dir ./

1.1.2RDB底层原理

bgsave开始时会fork主进程得到子进程子进程共享主进程的内存数据完成fork后读取内存数据并写入 RDB 文件

fork采用的是copy-on-write技术：

当主进程执行读操作时访问共享内存
当主进程执行写操作时则会拷贝一份数据执行写操作

1.1.3.小结

RDB方式bgsave的基本流程

fork主进程得到一个子进程共享内存空间
子进程读取内存数据并写入新的RDB文件
用新RDB文件替换旧的RDB文件

RDB执行时机默认是服务停止时 save 60 1000代表含义为：60秒内至少执行1000次修改则触发RDB

RDB缺点

RDB执行间隔时间长，两次RDB之间写入数据有丢失的风险
fork子进程、压缩、写出RDB文件都比较耗时

1.2AOF持久化

1.2.1AOF原理

AOF全称为Append Only File(追加文件) Redis处理的每一个写命令都会记录在AOF文件可以看做是命令日志文件

1.2.2AOF配置

AOF默认是关闭的需要修改redis.conf配置文件来开启AOF：

# 是否开启AOF功能，默认是no
appendonly yes
# AOF文件的名称
appendfilename "appendonly.aof"

AOF的命令记录的频率也可以通过redis.conf文件来配：

# 表示每执行一次写命令，立即记录到AOF文件
appendfsync always 
# 写命令执行完先放入AOF缓冲区，然后表示每隔1秒将缓冲区数据写到AOF文件，是默认方案
appendfsync everysec 
# 写命令执行完先放入AOF缓冲区，由操作系统决定何时将缓冲区内容写回磁盘
appendfsync no

三种策略对比：

1.2.3AOF文件重写

因为是记录命令 AOF文件会比RDB文件大的多而且AOF会记录对同一个key的多次写操作

但只有最后一次写操作才有意义通过执行bgrewriteaof命令可以让AOF文件执行重写功能

用最少的命令达到相同效果

AOF原本有三个命令但是set num 123 和 set num 666都是对num的操作

第二次会覆盖第一次的值因此第一个命令记录下来没有意义

所以重写命令后，AOF文件内容就是：mset name jack num 666

Redis也会在触发阈值时自动去重写AOF文件阈值也可以在redis.conf中配置：

# AOF文件比上次文件 增长超过多少百分比则触发重写
auto-aof-rewrite-percentage 100
# AOF文件体积最小多大以上才触发重写 
auto-aof-rewrite-min-size 64mb

1.3RDB与AOF区别

RDB和AOF各有自己的优缺点如果对数据安全性要求较高在实际开发中往往会结合两者来使用

2.Redis主从

单节点Redis的并发能力是有上限的要进一步提高Redis的并发能力就需要搭建主从集群实现读写分离

2.1搭建主从结构

在同一台虚拟机中开启3个redis实例模拟主从集群信息如下：

IP	PORT	角色
10.211.55.9	7001	master
10.211.55.9	7002	slave
10.211.55.9	7003	slave

2.2准备实例和对应的文件配置

在同一台虚拟机开启3个实例必须准备三份不同的配置文件和目录配置文件所在目录也就是工作目录

2.2.1创建目录

创建三个文件夹名字分别叫7001、7002、7003：

# 进入/tmp目录
cd /tmp
# 创建目录
mkdir 7001 7002 7003

2.2.2恢复原始配置

修改redis-6.2.4/redis.conf文件将其中的持久化模式改为默认的RDB模式 AOF保持关闭状态

# 开启RDB
# save ""
save 3600 1
save 300 100
save 60 10000

# 关闭AOF
appendonly no

2.2.3将配置文件拷贝到每个实例目录

将redis-6.2.4/redis.conf文件拷贝到三个目录中(在/tmp目录执行下列命令)：

# 方式一：逐个拷贝
cp redis-6.2.4/redis.conf 7001
cp redis-6.2.4/redis.conf 7002
cp redis-6.2.4/redis.conf 7003
# 方式二：管道组合命令，一键拷贝
echo 7001 7002 7003 | xargs -t -n 1 cp redis-6.2.4/redis.conf

2.2.4修改每个实例配置和端口

修改每个文件夹内的配置文件将端口分别修改为7001、7002、7003 将rdb文件保存位置都修改为自己所在目录(在/tmp目录执行下列命令)：

sed -i -e 's/6379/7001/g' -e 's/dir .\//dir \/tmp\/7001\//g' 7001/redis.conf
sed -i -e 's/6379/7002/g' -e 's/dir .\//dir \/tmp\/7002\//g' 7002/redis.conf
sed -i -e 's/6379/7003/g' -e 's/dir .\//dir \/tmp\/7003\//g' 7003/redis.conf

2.2.5修改每个实例的声明IP

拟机本身有多个IP 为了避免将来混乱需要在redis.conf文件中指定每一个实例的绑定ip信息

# 逐一执行
sed -i '1a replica-announce-ip 10.211.55.9' 7001/redis.conf
sed -i '1a replica-announce-ip 10.211.55.9' 7002/redis.conf
sed -i '1a replica-announce-ip 10.211.55.9' 7003/redis.conf

# 或者一键修改
printf '%s\n' 7001 7002 7003 | xargs -I{} -t sed -i '1a replica-announce-ip 10.211.55.9' {}/redis.conf

2.2.6启动三个实例

# 第1个
redis-server 7001/redis.conf
# 第2个
redis-server 7002/redis.conf
# 第3个
redis-server 7003/redis.conf
# 一键停止
printf '%s\n' 7001 7002 7003 | xargs -I{} -t redis-cli -p {} shutdown

2.2.7开启主从关系

要配置主从可以使用replicaof或者slaveof(5.0以前)命令

有临时和永久两种模式：

修改配置文件（永久生效）
- 在redis.conf中添加一行配置：slaveof <masterip> <masterport>
使用redis-cli客户端连接到redis服务执行slaveof命令(重启后失效)：

slaveof <masterip> <masterport>

注意：在5.0以后新增命令replicaof 与salveof效果一致

# 连接 7002
redis-cli -p 7002
# 执行slaveof
slaveof 10.211.55.9 7001

# 连接 7003
redis-cli -p 7003
# 执行slaveof
slaveof 10.211.55.9 7001

# 连接 7001
redis-cli -p 7001
# 查看状态
info replication

2.3主从数据同步原理

2.3.1全量同步

主从第一次建立连接时会执行全量同步 将master节点的所有数据都拷贝给slave节点

master通过以下判断依据得知slave是否第一次进行连接：

Replication Id：简称replid 是数据集的标记 id一致则说明是同一数据集

每一个master都有唯一的replid slave则会继承master节点的replid
offset：偏移量随着记录在repl_baklog中的数据增多而逐渐增大

slave完成同步时也会记录当前同步的offset

如果slave的offset小于master的offset则说明slave数据落后于master 需要更新

master判断一个节点是否是第一次同步的依据就是看replid是否一致

完整流程描述：

slave节点请求增量同步
master节点判断replid 发现不一致拒绝增量同步
master将完整内存数据生成RDB，发送RDB到slave
slave清空本地数据加载master的RDB
master将RDB期间的命令记录在repl_baklog 并持续将log中的命令发送给slave
slave执行接收到的命令保持与master之间的同步

2.3.2增量同步

全量同步需要先做RDB 然后将RDB文件通过网络传输个slave 成本太高

因此除了第一次做全量同步其它大多数时候slave与master都是做增量同步

增量同步就是只更新slave与master存在差异的部分数据

2.4主从同步优化

主从同步可以保证主从数据的一致性可以从以下几个方面来优化Redis主从集群：

在master中配置repl-diskless-sync yes启用无磁盘复制避免全量同步时的磁盘IO
Redis单节点上的内存占用不要太大，减少RDB导致的过多磁盘IO
适当提高repl_baklog的大小发现slave宕机时尽快实现故障恢复尽可能避免全量同步
限制一个master上的slave节点数量如果实在是太多slave 则可以采用主-从-从链式结构减少master压力

主从从架构图：

2.5总结

全量同步和增量同步区别

全量同步：master将完整内存数据生成RDB 发送RDB到slave 后续命令则记录在repl_baklog 逐个发送给slave
增量同步：slave提交自己的offset到master，master获取repl_baklog中从offset之后的命令给slave

执行全量同步时间

slave节点第一次连接master节点时
slave节点断开时间太久，repl_baklog中的offset已经被覆盖时

执行增量同步时间

slave节点断开又恢复，并且在repl_baklog中能找到offset时

3.Redis哨兵

Redis提供了哨兵(Sentinel)机制来实现主从集群的自动故障恢复

3.1哨兵的作用和原理

3.1.1哨兵集群结构和作用

哨兵的作用如下：

监控：Sentinel会不断检查您的master和slave是否按预期工作
自动故障恢复：如果master故障 Sentinel会将一个slave提升为master 当故障实例恢复后也以新的master为主
通知：Sentinel充当Redis客户端的服务发现来源当集群发生故障转移时会将最新信息推送给Redis的客户端

3.1.2集群监控原理

Sentinel基于心跳机制监测服务状态，每隔1秒向集群的每个实例发送ping命令：

主观下线：如果某sentinel节点发现某实例未在规定时间响应则认为该实例主观下线。
客观下线：若超过指定数量(quorum)的sentinel都认为该实例主观下线则该实例**客观下线 **quorum值最好超过Sentinel实例数量的一半

3.1.3集群故障恢复原理

一旦发现master故障 sentinel需要在salve中选择一个作为新的master 选择依据：

首先会判断slave节点与master节点断开时间长短如果超过指定值(down-after-milliseconds*10)则会排除该slave节点
然后判断slave节点的slave-priority值(默认值均一致) 越小优先级越高如果是0则永不参与选举
如果slave-prority一样则判断slave节点的offset值越大说明数据越新优先级越高
最后是判断slave节点的运行id大小越小优先级越高

当选出一个新的master后实现切换的方式流程如下：

sentinel给备选的slave1节点发送slaveof no one命令，让该节点成为master
sentinel给所有其它slave发送slaveof 10.211.55.9 7002 命令让这些slave成为新master的从节点开始从新的master上同步数据
最后，sentinel将故障节点标记为slave，当故障节点恢复后会自动成为新的master的slave节点

3.1.4小结

Sentinel的三个作用

监控
故障转移
通知

Sentinel判断一个redis实例健康状态

每隔1秒发送一次ping命令，如果超过一定时间没有相向则认为是主观下线
如果大多数sentinel都认为实例主观下线，则判定服务下线

故障转移步骤

首先选定一个slave作为新的master 执行slaveof no one
然后让所有节点都执行slaveof 新master
修改故障节点配置，添加slaveof 新master

3.2搭建哨兵集群

3.2.1集群结构

搭建一个三节点形成的Sentinel集群监管之前的Redis主从集群

三个sentinel实例信息如下：

节点	IP	PORT
s1	10.211.55.9	27001
s2	10.211.55.9	27002
s3	10.211.55.9	27003

3.2.2准备实例和配置

要在同一台虚拟机开启3个实例必须准备三份不同的配置文件和目录配置文件所在目录也就是工作目录

我们创建三个文件夹，名字分别叫s1、s2、s3：

# 进入/tmp目录
cd /tmp
# 创建目录
mkdir s1 s2 s3

然后我们在s1目录创建一个sentinel.conf文件添加下面的内容：

port 27001
sentinel announce-ip 10.211.55.9
sentinel monitor mymaster 10.211.55.9 7001 2
sentinel down-after-milliseconds mymaster 5000
sentinel failover-timeout mymaster 60000
dir "/tmp/s1"

解读：

port 27001：是当前sentinel实例的端口
sentinel monitor mymaster 10.211.55.9 7001 2：指定主节点信息
- mymaster：主节点名称自定义任意写
- 10.211.55.9 7001：主节点的ip和端口
- 2：选举master时的quorum值

然后将s1/sentinel.conf文件拷贝到s2、s3两个目录中(在/tmp目录执行下列命令)：

# 方式一：逐个拷贝
cp s1/sentinel.conf s2
cp s1/sentinel.conf s3
# 方式二：管道组合命令，一键拷贝
echo s2 s3 | xargs -t -n 1 cp s1/sentinel.conf

修改s2、s3两个文件夹内的配置文件将端口分别修改为27002、27003：

sed -i -e 's/27001/27002/g' -e 's/s1/s2/g' s2/sentinel.conf
sed -i -e 's/27001/27003/g' -e 's/s1/s3/g' s3/sentinel.conf

3.2.3.启动

为了方便查看日志打开3个ssh窗口分别启动3个redis实例启动命令：

# 第1个
redis-sentinel s1/sentinel.conf
# 第2个
redis-sentinel s2/sentinel.conf
# 第3个
redis-sentinel s3/sentinel.conf

3.3RedisTemplate的哨兵模式

在Sentinel集群监管下的Redis主从集群其节点会因为自动故障转移而发生变化

Redis的客户端必须感知这种变化及时更新连接信息

Spring的RedisTemplate底层利用lettuce实现了节点的感知和自动切换

通过一个demo来实现RedisTemplate集成哨兵机制

3.3.1.导入Demo工程并引入依赖

在项目的pom文件中引入依赖：

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-data-redis</artifactId>
</dependency>

3.3.2配置Redis地址

然后在配置文件application.yml中指定redis的sentinel相关信息：

spring:
  redis:
    sentinel:
      master: mymaster
      nodes:
        - 10.211.55.9:27001
        - 10.211.55.9:27002
        - 10.211.55.9:27003

3.3.3配置读写分离

在项目的启动类中添加一个新的bean：

@Bean
public LettuceClientConfigurationBuilderCustomizer clientConfigurationBuilderCustomizer(){
    return clientConfigurationBuilder -> clientConfigurationBuilder.readFrom(ReadFrom.REPLICA_PREFERRED);
}

这个bean中配置的就是读写策略包括四种：

MASTER：从主节点读取
MASTER_PREFERRED：优先从master节点读取 master不可用才读取replica
REPLICA：从slave(replica)节点读取
REPLICA _PREFERRED：优先从slave(replica)节点读取所有的slave都不可用才读取master

4.Redis分片集群

4.1搭建分片集群

主从和哨兵可以解决高可用、高并发读的问题。但是依然有两个问题没有解决：

海量数据存储问题
高并发写的问题

使用分片集群可以解决上述问题：

分片集群特征：

集群中有多个master，每个master保存不同数据
每个master都可以有多个slave节点
master之间通过ping监测彼此健康状态
客户端请求可以访问集群任意节点最终都会被转发到正确节点

4.1.1搭建集群结构

分片集群需要的节点数量较多演示为主则搭建一个最小的分片集群

包含3个master节点每个master包含一个slave节点：

在同一台虚拟机中开启6个redis实例，模拟分片集群，信息如下：

IP	PORT	角色
10.211.55.9	7001	master
10.211.55.9	7002	master
10.211.55.9	7003	master
10.211.55.9	8001	slave
10.211.55.9	8002	slave
10.211.55.9	8003	slave

4.1.2准备实例和配置

删除之前的7001、7002、7003这几个目录重新创建出7001、7002、7003、8001、8002、8003目录：

# 进入/tmp目录
cd /tmp
# 删除旧的，避免配置干扰
rm -rf 7001 7002 7003
# 创建目录
mkdir 7001 7002 7003 8001 8002 8003

在/tmp下准备一个新的redis.conf文件：

port 6379
# 开启集群功能
cluster-enabled yes
# 集群的配置文件名称，不需要我们创建，由redis自己维护
cluster-config-file /tmp/6379/nodes.conf
# 节点心跳失败的超时时间
cluster-node-timeout 5000
# 持久化文件存放目录
dir /tmp/6379
# 绑定地址
bind 0.0.0.0
# 让redis后台运行
daemonize yes
# 注册的实例ip
replica-announce-ip 10.211.55.9
# 保护模式
protected-mode no
# 数据库数量
databases 1
# 日志
logfile /tmp/6379/run.log

将这个文件拷贝到每个目录下：

# 进入/tmp目录
cd /tmp
# 执行拷贝
echo 7001 7002 7003 8001 8002 8003 | xargs -t -n 1 cp redis.conf

修改每个目录下的redis.conf，将其中的6379修改为与所在目录一致：

# 进入/tmp目录
cd /tmp
# 修改配置文件
printf '%s\n' 7001 7002 7003 8001 8002 8003 | xargs -I{} -t sed -i 's/6379/{}/g' {}/redis.conf

4.1.3启动

因为已经配置了后台启动模式所以可以直接启动服务：

# 进入/tmp目录
cd /tmp
# 一键启动所有服务
printf '%s\n' 7001 7002 7003 8001 8002 8003 | xargs -I{} -t redis-server {}/redis.conf

通过ps查看状态：

ps -ef | grep redis

发现服务都已经正常启动：

如果要关闭所有进程，可以执行命令：

ps -ef | grep redis | awk '{print $2}' | xargs kill

或者(推荐这种方式)：

printf '%s\n' 7001 7002 7003 8001 8002 8003 | xargs -I{} -t redis-cli -p {} shutdown

4.1.4创建集群

虽然服务启动了但是目前每个服务之间都是独立的没有任何关联

我们需要执行命令来创建集群在5.0之后集群管理命令都集成到了redis-cli中

redis-cli --cluster create --cluster-replicas 1 10.211.55.9:7001 10.211.55.9:7002 10.211.55.9:7003 10.211.55.9:8001 10.211.55.9:8002 10.211.55.9:8003

命令说明：

redis-cli --cluster或者./redis-trib.rb：代表集群操作命令
create：代表是创建集群
--replicas 1或者--cluster-replicas 1 ：指定集群中每个master的副本个数为1

此时节点总数 ÷ (replicas + 1) 得到的就是master的数量因此节点列表中的前n个就是master 其它节点都是slave节点随机分配到不同master

通过命令查看集群状态：

redis-cli -p 7001 cluster nodes

4.2散列插槽

4.2.1插槽原理

Redis会把每一个master节点映射到0~16383共16384个插槽(hash slot)上查看集群信息时就能看到

数据key不是与节点绑定而是与插槽绑定 redis会根据key的有效部分计算插槽值分两种情况：

key中包含"{}" 且“{}”中至少包含1个字符 “{}”中的部分是有效部分 set key {a}num a为有效部分
key中不包含“{}”，整个key都是有效部分 set key num num为有效部分

4.2.2小结

Redis判断某个key应该在哪个实例

将16384个插槽分配到不同的实例
根据key的有效部分计算哈希值，对16384取余
余数作为插槽，寻找插槽所在实例即可

将同一类数据固定的保存在同一个Redis实例方法

这一类数据使用相同的有效部分，例如key都以{typeId}为前缀

4.3集群伸缩

redis-cli --cluster提供了很多操作集群的命令可以通过redis-cli --cluster help命令查看：

比如，添加节点的命令：

4.3.1案例-需求分析

需求：向集群中添加一个新的master节点并向其中存储 num = 10

启动一个新的redis实例，端口为7004
添加7004到之前的集群并作为一个master节点
给7004节点分配插槽使得num这个key可以存储到7004实例

这里需要两个新的功能：

添加一个节点到集群中
将部分插槽分配到新插槽

4.3.2.创建新的redis实例

创建一个文件夹：

mkdir 7004

拷贝配置文件：

cp redis.conf /7004

修改配置文件：

sed /s/6379/7004/g 7004/redis.conf

启动

redis-server 7004/redis.conf

4.3.3.添加新节点到redis

添加节点的语法如下：

执行命令：

redis-cli --cluster add-node  10.211.55.9:7004 10.211.55.9:7001

通过命令查看集群状态：

redis-cli -p 7001 cluster nodes

如图，7004加入了集群，并且默认是一个master节点：

但是可以看到7004节点的插槽数量为0 因此没有任何数据可以存储到7004上

4.3.4.转移插槽

我们要将num存储到7004节点，因此需要先看看num的插槽是多少：

如上图所示 num的插槽为2765

我们可以将0~3000的插槽从7001转移到7004 命令格式如下：

具体命令如下：

建立连接：

得到下面的反馈：

询问要移动多少个插槽，我们计划是3000个：

新的问题来了：

填写具体的node节点来接收这些插槽而当下即是7004的节点

复制这个id 然后拷贝到刚才的控制台后：

这里询问你的插槽是从哪里移动过来的？

all：代表全部，也就是三个节点各转移一部分
具体的id：目标节点的id
done：没有了

这里要从7001获取因此填写7001的id：

填完后输入done 这样插槽转移就准备好了：

然后通过命令redis-cli -p 7001 cluster node查看结果

可以看到：

4.4故障转移

4.4.1自动故障转移

首先该实例会与其他实例失去连接
然后会被疑似宕机
最后是确定下线自动提升一个slave成为master
当该实例再启动后就会变成一个slave节点

4.4.2手动故障转移

利用cluster failover命令可以手动让集群中的某个master宕机

切换到执行cluster failover命令的这个slave节点实现无感知的数据迁移：

这种failover命令可以指定三种模式：

缺省：默认的流程，如图1~6歩
force：省略了对offset的一致性校验
takeover：直接执行第5歩忽略数据一致性、忽略master状态和其它master的意见

4.5RedisTemplate访问分片集群

RedisTemplate底层同样基于lettuce实现了分片集群的支持，而使用的步骤与哨兵模式基本一致：

1）引入redis的starter依赖

2）配置分片集群地址

3）配置读写分离

与哨兵模式相比其中只有分片集群的配置方式略有差异：

spring:
  redis:
    cluster:
      nodes:
        - 10.211.55.9:7001
        - 10.211.55.9:7002
        - 10.211.55.9:7003
        - 10.211.55.9:8001
        - 10.211.55.9:8002
        - 10.211.55.9:8003