day10 分布式缓存

最新推荐文章于 2023-05-26 09:30:18 发布

猿小羽

最新推荐文章于 2023-05-26 09:30:18 发布

阅读量641

点赞数

分类专栏： SpringCloud 学习笔记文章标签：缓存分布式 redis 微服务主从集群

本文链接：https://blog.csdn.net/sj15814963053/article/details/127967980

版权

SpringCloud 学习笔记专栏收录该内容

12 篇文章 2 订阅

订阅专栏

单机的 Redis 存在以下四大问题：

Untitled

1、Redis持久化

Redis有两种持久化方案：

RDB 持久化
AOF 持久化

1.1、RDB 持久化

RDB 全称 Redis Database Backup file（Redis数据备份文件），也被叫做 Redis 数据快照。简单来说就是把内存中的所有数据都记录到磁盘中。当 Redis 实例发生故障重启后，从磁盘读取快照文件，恢复数据。

快照文件称为 RDB 文件，默认是保存在当前运行目录。

执行时机

RDB 持久化在四种情况下会执行：

执行 save 命令
执行 bgsave 命令
Redis 停机时
触发 RDB 条件时

1、save 命令

执行下面的命令，可以立即执行一次 RDB：

Untitled

save 命令会导致主进程执行 RDB，在这个过程中其它所有命令都会被阻塞。只有在数据迁移时才可能用到。

2、bgsave 命令

下面的命令可以异步执行 RDB：

Untitled

这个命令执行后会开启独立进程完成 RDB，主进程可以持续处理用户请求，不受影响。

3、停机时

Redis 停机时会执行一次 save 命令，实现 RDB 持久化。

4、自动触发 RDB 条件

Redis 内部有触发 RDB 的机制，可以在 redis.conf 文件中找到，格式如下：

# 900秒内，如果至少有1次key被修改，则执行bgsave
# 如果是 save "" 则表示禁用RDB
save 900 1  
save 300 10  
save 60 10000

RDB 的其它配置也可以在 redis.conf 文件中设置：

# 是否压缩，建议不开启，压缩也会消耗cpu，并且磁盘不值钱
rdbcompression yes

# RDB文件名称
dbfilename dump.rdb

# 文件保存的路径目录
dir ./

RDB原理

bgsave 开始时会 fork 主进程得到子进程，子进程共享主进程的内存数据。完成 fork 后读取内存数据并写入 RDB 文件。

fork 采用的是 copy-on-write 技术：

当主进程执行读操作时，访问共享内存；
当主进程执行写操作时，则会拷贝一份数据，执行写操作。

Untitled

小结

RDB 方式 bgsave 的基本流程？

fork 主进程得到一个子进程，共享内存空间
子进程读取内存数据并写入新的 RDB 文件
用新的 RDB 文件替换旧的 RDB 文件

RDB 会在什么时候自动执行？save 60 1000 代表什么含义？

默认是服务停止时
代表 60s 内至少执行 1000 次修改才会触发 RDB

RDB 的缺点？

RDB 执行间隔时间长，两次 RDB 之间写入数据有丢失的风险
fork 子进程、压缩、写出 RDB 文件都比较耗时

1.2、AOF持久化

AOF原理

AOF 全称为 Append Only File（追加文件），Redis 处理的每一个写操作命令都会记录在 AOF 文件，可以看做是命令日志文件。

Untitled

AOF配置

AOF 默认是关闭的，需要修改 redis.conf 配置文件来开启 AOF：

# 是否开启AOF功能，默认是no
appendonly yes
# AOF文件的名称
appendfilename "appendonly.aof"

AOF 命令记录的频率也可以通过 redis.conf 文件来配：

# 表示每执行一次写命令，立即记录到AOF文件
appendfsync always 
# 写命令执行完先放入AOF缓冲区，然后每隔1秒将缓冲区数据写到AOF文件，这是默认方案
appendfsync everysec 
# 写命令执行完先放入AOF缓冲区，由操作系统决定何时将缓冲区内容写回磁盘
appendfsync no

三种策略对比：

Untitled

AOF文件重写

因为是记录命令，AOF 文件会比 RDB 文件大得多。而且 AOF 会记录对同一个 key 的多次写操作，但只有最后一次写操作才有意义。通过执行 bgrewriteaof 命令，可以让 AOF 文件执行重写功能，用最少的命令达到相同效果。

Untitled

如图，AOF原本有三个命令，但是 set num 123 和 set num 666 都是对 num 的操作，第二次会覆盖第一次的值，因此第一个命令记录下来是没有意义的。

所以重写命令后，AOF 文件内容就是：mset name jack num 666

Redis 也会在触发阈值时自动去重写 AOF 文件。阈值也可以在 redis.conf 中配置：

# AOF文件比上次文件增长超过多少百分比则触发重写
auto-aof-rewrite-percentage 100
# AOF文件体积最小多大以上才会触发重写 
auto-aof-rewrite-min-size 64mb

1.3、RDB与AOF对比

RDB 和 AOF 各有自己的优缺点，如果对数据安全性要求较高，在实际开发中往往会结合两者来使用。

Untitled

2、Redis主从

2.1、搭建主从架构

单节点 Redis 的并发能力是有上限的，要进一步提高 Redis 的并发能力，就需要搭建主从集群，实现读写分离。

我们搭建的主从集群结构如图：

Untitled

跳过部署三个 Redis，很简单。

共包含三个节点，一个主节点，两个从节点。

这里我们在同一台服务器中开启 3 个 Redis 实例，模拟主从集群，信息如下：

IP	PORT	角色
192.168.150.101	7001	master
192.168.150.101	7002	slave
192.168.150.101	7003	slave

为了方便查看日志，我们打开 3 个 ssh 窗口，分别启动 Redis 实例，启动命令：

# 第1个
redis-server 7001/redis.conf
# 第2个
redis-server 7002/redis.conf
# 第3个
redis-server 7003/redis.conf

Untitled

如果想要一键停止，可以运行下面命令：

printf '%s\n' 7001 7002 7003 | xargs -I{} -t redis-cli -p {} shutdown

开启主从关系

现在三个实例还没有任何关系，要配置主从可以使用 replicaof 或者 slaveof（5.0以前）命令。

有临时和永久两种模式：

1、修改配置文件（永久生效）

在 redis.conf 中添加一行配置：slaveof <masterip> <masterport>

2、使用 redis-cli 客户端连接到 redis 服务，执行 slaveof 命令（重启后失效）

slaveof <masterip> <masterport>

注意：在 5.0 以后新增命令 replicaof 与 salveof 效果一致。

这里我们为了演示方便，使用方式二。

通过 redis-cli 命令连接 7002，执行下面命令：

# 连接 7002
redis-cli -p 7002
# 执行slaveof
slaveof 1.117.74.26 7001

通过 redis-cli 命令连接 7003，执行下面命令：

# 连接 7003
redis-cli -p 7003
# 执行slaveof
slaveof 1.117.74.26 7001

然后连接到 7001 节点，查看集群状态：

# 连接 7001
redis-cli -p 7001
# 查看状态
info replication

结果：

Untitled

测试

执行下列操作以测试：

利用 redis-cli 连接7001，执行 set num 123
利用 redis-cli 连接7002，执行 get num，再执行 set num 666
利用 redis-cli 连接7003，执行 get num，再执行 set num 888

可以发现，只有在 7001 这个 master 节点上可以执行写操作，7002 和 7003 这两个 slave 节点只能执行读操作。

Untitled

2.2、主从数据同步原理

全量同步

主从第一次建立连接时，会执行全量同步，将 master 节点的所有数据都拷贝给 slave 节点，流程如下：

Untitled

master 如何得知 salve 是第一次来连接呢 ?

有几个概念，可以作为判断依据：

Replication Id：简称 replid，是数据集的标记，id 一致则说明是同一数据集。每一个 master 都有唯一的 replid，slave 则会继承 master 节点的 replid；
offset：偏移量，随着记录在 repl_baklog 中的数据增多而逐渐增大。slave 完成同步时也会记录当前同步的 offset，即 slave 的 offset 永远小于等于 master 的 offset；当 slave 的 offset 小于 master 的 offset，说明 slave 数据落后于 master，需要更新。

因此 slave 做数据同步，必须向 master 声明自己的 replid 和 offset，master 才可以判断到底需要同步哪些数据。

而 slave 原本也是一个 master，有自己的 replid 和 offset，当第一次变成 slave，与 master 建立连接时，发送的 replid 和 offset 是自己的 replid 和 offset。

master 判断发现 slave 发送来的 replid 与自己的不一致，说明这是一个全新的 slave，就知道要做全量同步了。

master 会将自己的 replid 和 offset 都发送给这个 slave，slave 保存这些信息。以后 slave 的replid 就与 master 一致了。

因此，master 判断一个节点是否是第一次同步的依据，就是看 replid 是否一致。

Untitled

完整流程描述：

slave 节点请求增量同步
master 节点判断 replid，发现不一致，拒绝增量同步，选择全量同步
master 将完整内存数据生成 RDB，发送 RDB 到 slave
slave 清空本地数据，加载 master 的 RDB
master 将 RDB 期间的命令记录在 repl_baklog，并持续将 log 中的命令发送给 slave
slave 执行接收到的命令，保持与 master 之间的同步

增量同步

全量同步需要先做 RDB，然后将 RDB 文件通过网络传输给 slave，成本太高。因此除了第一次做全量同步，其它大多数时候 slave 与 master 都是做增量同步。

什么是增量同步？就是只更新 slave 与 master 存在差异的部分数据。

Untitled

repl_backlog 原理

master 怎么知道 slave 与自己的数据差异在哪里？

这就要说到全量同步时的 repl_baklog 文件了。

这个文件是一个固定大小的数组，只不过数组是环形的，也就是说角标到达数组末尾后，会再次从 0 开始读写，这样数组头部的数据就会被覆盖。repl_baklog 中会记录 Redis 处理过的命令日志及 offset，包括 master 当前的 offset 和 slave 已经拷贝到的 offset：

Untitled

slave 与 master 的 offset 之间的差异，就是 salve 需要增量拷贝的数据了。

随着不断有数据写入，master 的 offset 逐渐变大，slave 也不断的拷贝，追赶 master 的 offset：

Untitled

直到数组被填满：

Untitled

此时，如果有新的数据写入，就会覆盖数组中的旧数据。不过，旧的数据只要是绿色的，就说明是已经被同步到 slave 的数据，即便被覆盖了也没什么影响。因为未同步的仅仅是红色部分。但是，如果 slave 出现网络阻塞，导致 master 的 offset 远远超过了 slave 的 offset，如下图：

Untitled

如果 master 继续写入新数据，其 offset 就会覆盖旧的数据，直到将 slave 现在的 offset 也覆盖了：

Untitled

棕色框中的红色部分，就是尚未同步，但是却已经被覆盖的数据。此时如果 slave 恢复，需要同步，却发现自己的 offset 都没有了，无法完成增量同步了，那就只能做全量同步。

Untitled

2.3、主从同步优化

主从同步可以保证主从数据的一致性，非常重要。

可以从以下几个方面来优化 Redis 主从集群：

在 master 中配置 repl-diskless-sync yes 启用无磁盘复制，避免全量同步时的磁盘IO
Redis 单节点上的内存占用不要太大，减少 RDB 导致的过多磁盘IO
适当提高 repl_baklog 的大小，发现 slave 宕机时尽快实现故障恢复，尽可能避免全量同步
限制一个 master 上的 slave 节点数量，如果实在是太多 slave，则可以采用主-从-从链式结构，减少 master 压力

Untitled

2.4、小结

简述全量同步和增量同步的区别？

全量同步：master 将完整内存数据生成 RDB，发送 RDB 到 slave。后续命令则记录在 repl_baklog，逐个发送给 slave
增量同步：slave 提交自己的 offset 到 master，master 获取 repl_baklog 中从 offset 之后的命令给 slave

什么时候会执行全量同步？

slave 节点第一次连接 master 节点时
slave 节点断开时间太久，repl_baklog 中的 offset 已经被覆盖时

什么时候会执行增量同步？

slave 节点断开又恢复，并且在 repl_baklog 中能找到 offset 时

3、Redis哨兵

Redis 提供了哨兵（Sentinel）机制来实现主从集群的自动故障恢复。

3.1、哨兵原理

集群结构和作用

哨兵的结构如图：

Untitled

哨兵的作用如下：

监控：Sentinel 会不断检查 master 和 slave 是否按预期工作。
自动故障恢复：如果 master 故障，Sentinel 会将一个 slave 提升为新的 master。当故障实例恢复后也以新的 master 为主。
通知：Sentinel 充当 Redis 客户端的服务发现来源，当集群发生故障转移时，会将最新信息推送给 Redis 的客户端。

集群监控原理

Sentinel 基于心跳机制监测服务状态，每隔 1 秒向集群中的每个实例发送 ping 命令：

主观下线：如果某 Sentinel 节点发现某实例未在规定时间进行响应，则认为该实例主观下线。
客观下线：若超过指定数量（quorum）的 Sentinel 都认为该实例主观下线，则该实例客观下线。quorum 值最好超过 Sentinel 实例数量的一半。

Untitled

集群故障恢复原理

一旦发现 master 故障，sentinel 需要在 salve 中选择一个作为新的 master，选择依据是这样的：

1、首先会判断 slave 节点与 master 节点断开时间的长短，如果超过指定值（down - after - milliseconds * 10），则会排除该 slave 节点

2、然后判断 slave 节点的 slave-priority 值，越小优先级越高，如果是 0 则永不参与选举

3、如果 slave-prority 一样，则判断 slave 节点的 offset 值，值越大说明数据越新，优先级越高

4、最后是判断 slave 节点的运行 id 大小，越小优先级越高

当选中了其中一个 slave 为新的 master 后（例如 slave1），故障的转移步骤如下：

1、sentinel 给备选的 slave1 节点发送 slaveof no one 命令，让该节点成为 master

2、sentinel 给所有其它 slave 发送 slaveof 192.168.150.101 7002 之类的命令，让这些 slave 成为新 master 的从节点，开始从新的 master 上同步数据

3、最后，sentinel 将故障节点标记为 slave，当故障节点恢复后会自动成为新 master 的 slave 节点

Untitled

小结

Sentinel的三个作用是什么？

监控
故障转移
通知

Sentinel 如何判断一个 redis 实例是否健康？

每隔1秒发送一次 ping 命令，如果超过一定时间没有响应则认为是主观下线
如果大多数 sentinel 都认为该实例主观下线，则判定该实例客观下线

故障转移的步骤有哪些？

首先选定一个 slave 作为新的 master，执行 slaveof no one
然后让其他 slave 节点都执行 slaveof 新master
修改故障节点配置，添加 slaveof 新master

3.2、搭建哨兵集群

这里我们搭建一个三节点形成的 Sentinel 集群，来监管之前的 Redis 主从集群。

Untitled

三个 sentinel 实例信息如下：

节点	IP	PORT
s1	192.168.150.101	27001
s2	192.168.150.101	27002
s3	192.168.150.101	27003

要在同一台服务器开启 3 个实例，必须准备三份不同的配置文件和目录，配置文件所在目录也就是工作目录。

我们创建三个文件夹，名字分别叫 s1、s2、s3

# 进入/opt目录
cd /opt
# 创建目录
mkdir s1 s2 s3

Untitled

然后我们在 s1 目录创建一个 sentinel.conf 文件，添加下面的内容：

port 27001
sentinel announce-ip 1.117.74.26
sentinel monitor mymaster 1.117.74.26 7001 2
sentinel down-after-milliseconds mymaster 5000
sentinel failover-timeout mymaster 60000
dir "/opt/s1"

port 27001：是当前 sentinel 实例的端口
sentinel announce-ip 1.117.74.26：当前 sentinel 实例的 ip 地址
sentinel monitor mymaster 1.117.74.26 7001 2：指定主节点信息
- mymaster：主节点名称，自定义，任意写
- 1.117.74.26 7001：主节点的 ip 和端口
- 2：选举 master 时的 quorum 值

然后将 s1/sentinel.conf 文件拷贝到 s2、s3 两个目录中（在 /opt 目录执行下列命令）：

cp s1/sentinel.conf s2
cp s1/sentinel.conf s3

修改 s2、s3 两个文件夹内的配置文件，将端口分别修改为 27002、27003

sed -i -e 's/27001/27002/g' -e 's/s1/s2/g' s2/sentinel.conf
sed -i -e 's/27001/27003/g' -e 's/s1/s3/g' s3/sentinel.conf

启动程序，为了方便查看日志，我们打开 3 个 ssh 窗口，分别启动 3 个 redis 实例，启动命令：

# 第1个
redis-sentinel s1/sentinel.conf
# 第2个
redis-sentinel s2/sentinel.conf
# 第3个
redis-sentinel s3/sentinel.conf

Untitled

尝试让 master 节点 7001 宕机，查看 sentinel 日志：

Untitled

查看 7003 的日志：

Untitled

查看 7002 的日志：

Untitled

3.3、RedisTemplate的哨兵模式

在 Sentinel 集群监管下的 Redis 主从集群，其节点会因为自动故障转移而发生变化，Redis 客户端必须感知这种变化，及时更新连接信息。Spring 中 RedisTemplate 底层利用 lettuce 实现了节点的感知和自动切换。

我们通过一个测试来实现 RedisTemplate 集成哨兵机制。

1、导入Demo工程

Untitled

2、引入依赖

在项目的 pom 文件中引入依赖：

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-data-redis</artifactId>
</dependency>

3、配置Redis地址

然后在配置文件 application.yml 中指定 redis 的 sentinel 配置

这里不需要配置 redis 的集群地址，因为在 sentinel 模式下主从地址是可能变更的，不能把它写死，也不需要写。直接配置 sentinel 即可。

spring:
  redis:
    sentinel:
      master: mymaster # 指定master名称
      nodes: # 指定redis-sentinel的集群信息
        - 1.117.74.26:27001
        - 1.117.74.26:27002
        - 1.117.74.26:27003

4、配置读写分离

在项目的启动类中，添加一个新的 bean：

		@Bean
    public LettuceClientConfigurationBuilderCustomizer clientConfigurationBuilderCustomizer() {
        return new LettuceClientConfigurationBuilderCustomizer() {
            @Override
            public void customize(LettuceClientConfiguration.LettuceClientConfigurationBuilder clientConfigurationBuilder) {
                clientConfigurationBuilder.readFrom(ReadFrom.REPLICA_PREFERRED);
            }
        };
    }

ReadFrom 是配置 Redis 的读写策略，是一个枚举，包括四种：

MASTER：从主节点读取
MASTER_PREFERRED：优先从 master 节点读取，master 不可用才读取 slave（replica）
REPLICA：从 slave（replica）节点读取
REPLICA _PREFERRED：优先从 slave（replica）节点读取，所有的 slave（replica）都不可用才读取 master

4、Redis分片集群

4.1、搭建分片集群

主从集群和哨兵可以解决高可用、高并发读的问题。但是依然有两个问题没有解决：

海量数据存储问题
高并发写的问题

使用分片集群可以解决上述问题，如图：

Untitled

分片集群的特征：

集群中有多个 master，每个 master 保存不同数据
每个 master 都可以有多个 slave 节点
master 之间通过 ping 监测彼此健康状态
客户端请求可以访问集群的任意节点，最终都会被转发到正确节点

集群结构

分片集群需要的节点数量较多，这里我们搭建一个最小的分片集群，包含3个 master 节点，每个 master 节点包含一个 slave 节点，结构如下：

Untitled

这里我们会在同一台服务器中开启 6 个 redis 实例，模拟分片集群，信息如下：

IP	PORT	角色
192.168.150.101	7001	master
192.168.150.101	7002	master
192.168.150.101	7003	master
192.168.150.101	8001	slave
192.168.150.101	8002	slave
192.168.150.101	8003	slave

准备实例和配置

删除之前的 7001、7002、7003 这几个目录，重新创建出 7001、7002、7003、8001、8002、8003 目录：

# 进入/opt目录
cd /opt

# 删除旧的，避免配置干扰
rm -rf 7001 7002 7003

# 创建目录
mkdir 7001 7002 7003 8001 8002 8003

在 /opt 下准备一个新的 redis.conf 文件，内容如下：

port 6379
# 开启集群功能
cluster-enabled yes
# 集群的配置文件名称，不需要我们创建，由redis自己维护
cluster-config-file /opt/6379/nodes.conf
# 节点心跳失败的超时时间
cluster-node-timeout 5000
# 持久化文件存放目录
dir /opt/6379
# 绑定地址
bind 0.0.0.0
# 让redis后台运行
daemonize yes
# 注册的实例ip
replica-announce-ip 1.117.74.26
# 保护模式
protected-mode no
# 数据库数量
databases 1
# 日志
logfile /opt/6379/run.log

将这个文件拷贝到每个目录下：

# 进入/opt目录
cd /opt
# 执行拷贝
echo 7001 7002 7003 8001 8002 8003 | xargs -t -n 1 cp redis.conf

修改每个目录下的 redis.conf，将其中的6379修改为与所在目录一致：

# 进入/opt目录
cd /opt
# 修改配置文件
printf '%s\n' 7001 7002 7003 8001 8002 8003 | xargs -I{} -t sed -i 's/6379/{}/g' {}/redis.conf

启动

因为已经配置了后台启动模式，所以可以直接启动服务：

# 进入/tmp目录
cd /opt
# 一键启动所有服务
printf '%s\n' 7001 7002 7003 8001 8002 8003 | xargs -I{} -t redis-server {}/redis.conf

通过 ps 查看状态：

ps -ef | grep redis

发现服务都已经正常启动：

Untitled

如果想要关闭所有进程，可以执行命令：

ps -ef | grep redis | awk '{print $2}' | xargs kill

或者（推荐这种方式）：

printf '%s\n' 7001 7002 7003 8001 8002 8003 | xargs -I{} -t redis-cli -p {} shutdown

创建集群

虽然服务已经启动了，但是目前每个服务之间都是独立的，没有任何关联。

我们使用的是 Redis6.2.4 版本，集群管理以及集成到了 redis-cli 中，格式如下：

redis-cli --cluster create --cluster-replicas 1 1.117.74.26:7001 1.117.74.26:7002 1.117.74.26:7003 1.117.74.26:8001 1.117.74.26:8002 1.117.74.26:8003

redis-cli --cluster：代表集群操作命令
create：代表创建集群
-cluster-replicas 1 ：指定集群中每个 master 的副本个数为1，此时 节点总数 ÷ (replicas + 1) 得到的就是 master 的数量。因此节点列表中的前 n 个就是 master，其它节点都是 slave 节点，随机分配到不同的 master

运行后的样子：

Untitled

这里输入yes，之后集群开始创建：

Untitled

通过命令可以查看集群状态：

redis-cli -p 7001 cluster nodes

Untitled

测试

尝试连接 7001 节点，存储一个数据：

# 连接
redis-cli -c -p 7001

Untitled

4.2、散列插槽

Redis 会把每一个 master 节点映射到 0~16383 共 16384 个插槽（hash slot）上，查看集群信息时就能看到：

Untitled

数据的 key 不是与节点进行绑定，而是与插槽绑定。redis 会根据 key 的有效部分计算插槽值，分两种情况：

如果 key 中包含“{}”，且“{}”中至少包含1个字符，那么“{}”中的部分就是有效部分
如果 key 中不包含“{}”，那么整个 key 都是有效部分

例如：key 是 num，那么就根据 num 进行计算，如果是 {itcast}num，则根据 itcast 计算。计算方式是利用 CRC16 算法得到一个 hash 值，然后对16384 取余，得到的结果就是 slot 值。

Untitled

如图，在 7001 这个节点执行 set a 1 时，对 a 做 hash 运算，然后对 16384 取余，得到的结果是 15495，因此要存储到 7003 节点。

到了 7003 后，执行 get num 时，对 num 做 hash 运算，然后对 16384 取余，得到的结果是 2765，因此需要切换到 7001 节点

总结

Redis 如何判断某个 key 应该在哪个实例？

将 16384 个插槽分配到不同的实例
根据 key 的有效部分计算哈希值，然后对 16384 取余
余数作为插槽，寻找插槽所在实例即可

如何将同一类数据固定的保存在同一个 Redis 实例？

将这一类数据使用相同的有效部分，例如 key 都以 {typeId} 为前缀

4.3、集群伸缩

redis-cli --cluster 提供了很多操作集群的命令，可以通过下面方式查看：

Untitled

比如，添加节点的命令：

Untitled

需求分析

需求：向集群中添加一个新的 master 节点，并向其中存储 num = 10

启动一个新的 redis 实例，端口为 7004
添加 7004 到之前的集群，并作为一个 master 节点
给 7004 节点分配插槽，使得 num 这个 key 可以存储到 7004 实例

这里需要两个新的功能：

添加一个节点到集群中
将部分插槽分配到新插槽

创建新的redis实例

接下来的操作都是基于 /opt 目录下：

创建一个文件夹：

mkdir 7004

拷贝配置文件：

cp redis.conf /7004

修改配置文件：

sed -i s/6379/7004/g 7004/redis.conf

启动：

redis-server 7004/redis.conf

添加新节点到redis集群

添加节点的语法如下：

Untitled

执行命令：

redis-cli --cluster add-node 1.117.74.26:7004 1.117.74.26:7001

通过命令查看集群状态：

redis-cli -p 7001 cluster nodes

如图，7004 加入了集群，并且默认是一个 master 节点：

Untitled

但是，可以看到 7004 节点的插槽数量为0，因此没有任何数据可以存储到 7004 上

转移插槽

我们要将 num 存储到 7004 节点，因此需要先看看 num 的插槽是多少：

Untitled

如上图所示，num 的插槽为2765

我们可以将 0~3000 的插槽从 7001 转移到 7004，命令格式如下：

Untitled

具体命令如下：

建立连接：

redis-cli --cluster reshard 1.117.74.26:7001

Untitled

得到下面的反馈：

Untitled

询问要移动多少个插槽，我们计划是 3000 个：

新的问题来了：

Untitled

哪个 node 来接收这些插槽呢？

显然是7004，那么 7004 节点的 id 是多少呢？

Untitled

复制这个 id，然后拷贝到刚才的控制台：

Untitled

这里询问，你的插槽是从哪里移动过来的？

all：代表全部，也就是三个节点各转移一部分
具体的id：目标节点的id
done：没有了

这里我们要从 7001 获取，因此填写 7001 的id：

Untitled

填完后，点击done，这样插槽转移就准备好了：

Untitled

确认要转移吗？输入yes：

然后，通过命令查看结果：

redis-cli -p 7001 cluster nodes

可以看到：

Untitled

目的达成。

4.4、故障转移

自动故障转移

当集群中有一个 master 宕机会发生什么呢？

直接停止一个 redis 实例，例如7002：

redis-cli -p 7002 shutdown

1、首先是该实例与其它实例失去连接

2、然后是疑似宕机：

Untitled

3、最后是确定下线，自动提升一个 slave 为新的 master：

Untitled

4、当 7002 再次启动，就会变成一个 slave 节点了：

Untitled

手动故障转移

利用 cluster failover 命令可以手动让集群中的某个 master 宕机，切换到执行 cluster failover 命令的这个 slave 节点，实现无感知的数据迁移。其流程如下：

Untitled

这种 failover 命令可以指定三种模式：

缺省：默认的流程，如图 1~6 歩
force：省略对 offset 的一致性校验
takeover：直接执行第 5 歩，忽略数据一致性、忽略 master 状态和其它 master 的意见

需求：在 7002 这个 slave 节点执行手动故障转移，重新夺回 master 地位

步骤如下：

1、利用 redis-cli 连接到 7002 这个节点

2、执行 cluster failover 命令

Untitled

4.5、RedisTemplate访问分片集群

RedisTemplate 底层同样基于 lettuce 实现了分片集群的支持，而使用的步骤与哨兵模式基本一致：

1、引入redis的starter依赖

2、配置分片集群地址

3、配置读写分离

与哨兵模式相比，其中只有分片集群的配置方式略有差异，如下：

spring:
  redis:
    cluster:
      nodes: # 指定分片集群的每一个节点信息
        - 1.117.74.26:7001
        - 1.117.74.26:7002
        - 1.117.74.26:7003
        - 1.117.74.26:8001
        - 1.117.74.26:8002
        - 1.117.74.26:8003

猿小羽

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
打赏
0
评论
day10 分布式缓存

Redis 如何判断某个 key 应该在哪个实例？将 16384 个插槽分配到不同的实例根据 key 的有效部分计算哈希值，然后对 16384 取余余数作为插槽，寻找插槽所在实例即可如何将同一类数据固定的保存在同一个 Redis 实例？将这一类数据使用相同的有效部分，例如 key 都以{typeId}为前缀。
复制链接

扫一扫