10.Redis6集群

文章详细介绍了Redis集群的原理和实践,包括如何通过分区实现水平扩容,无中心化配置的特点,以及如何搭建6台Redis实例的集群案例。还讨论了槽的分配、键值存储规则、Jedis在集群环境中的使用,以及故障恢复机制。同时,指出了集群的优缺点和在Java开发中的应用。

1. 集群简介

在上一章学习了主从复制之后,思考两个问题:容量不够,redis如何进行扩容?并发写操作, redis如何分摊?

另外,主从模式,薪火相传模式,主机宕机,导致ip地址发生变化,应用程序中配置需要修改对应的主机地址、端口等信息。

之前通过代理主机来解决,但是redis3.0中提供了解决方案。就是无中心化集群配置,无中心化集群配置就是任何一个redis节点都可以作为集群的入口,并且节点之间可以相互访问

什么是Redis集群:

Redis 集群实现了对 Redis 的水平扩容,即启动 N 个 redis 节点,将整个数据库分布存储在这 N 个节点中,每个节点存储总数据的 1/N。

Redis 集群通过分区(partition)来提供一定程度的可用性(availability):即使集群中有一部分节点失效或者无法进行通讯, 集群也可以继续处理命令请求。

2. 集群案例

2.1 案例

下面是一个6台redis搭建的集群案例(注意实际工作中一个redis服务会占用一台Linux机器,这里只是学习,所以6个redis都在一台机器的不同端口):

1、仍然在 /myredis 目录下进行操作,首先要删除持久化数据,即删除 rdb 和 aof 文件:

在这里插入图片描述

2、创建6个redis实例,端口号分别是 6379、6380、6381、6389、6390、6391:

  • 首先修改一下 redis6379.conf 配置文件如下:

在这里插入图片描述

说明:上面配置文件前四行就不多说了,主从复制章节讲过。后面三行配置:

cluster-enabled yes 打开集群模式

cluster-config-file nodes-6379.conf 设定节点配置文件名

cluster-node-timeout 15000 设定节点失联时间,超过该时间(毫秒),集群自动进行主从切换。

然后将配置文件复制5份:

在这里插入图片描述

将每个端口对应的配置文件的端口号改成相对应的值,比如 redis6380.conf 里面的端口号都改为 6380.

3、启动6个redis服务,将这6个节点合成一个集群:

  • 启动6个redis服务:

    在这里插入图片描述

  • 将6个节点合成一个集群:

    先进入到 redis 安装目录的 src 目录下:

    在这里插入图片描述

    在 src 目录下执行命令:

    redis-cli --cluster create --cluster-replicas 1 192.168.88.130:6379 192.168.88.130:6380 192.168.88.130:6381 192.168.88.130:6389 192.168.88.130:6390 192.168.88.130:6391
    

    此处不要用 127.0.0.1, 请用真实IP地址 192.168.88.130。–replicas 1 表示采用最简单的方式配置集群,即一台主机一台从机为一组,这里一共6台,正好三组。

在这里插入图片描述

输入yes后,显示如下表示完成了:

在这里插入图片描述

4、通过集群登录方式连接集群:

  • 输入命令 redis-cli -c -p 端口号 连接集群(任何一个redis节点都可以作为集群的入口),并通过 cluster nodes 命令查看集群信息

在这里插入图片描述

2.2 如何分配这6个节点

一个集群至少要有三个主节点。

2.1执行的命令中,选项 --cluster-replicas 1 表示我们希望为集群中的每个主节点创建一个从节点。

分配原则尽量保证每个主数据库运行在不同的IP地址,每个从库和主库不在一个IP地址上

因为一个IP对应一个Linux系统,假如所有主服务器都在一个IP上,那么这台机器故障了,所有的主服务器都挂掉了,同理如果主服务器和从服务器都在同一个IP上,那么这台机器故障了就没有从服务器来顶替它了。

2.3 什么是 slots

在上上图中,集群配置完成后可以看到显示了一个:All 16384 slots covered。slot 意为插槽。一个 Redis 集群包含 16384 个哈希插槽(hash slot),数据库中的每个键都属于这 16384 个插槽的其中一个。集群使用公式 CRC16(key)%16384 来计算键 key 属于哪个槽, 其中CRC16(key)语句用于计算键 key的 CRC16 校验和 。

集群中的每个节点负责处理一部分插槽。比如在上述2.1案例中,由上图和上上上图可以看出:

  • 6379端口的节点负责处理 0 号至 5460 号插槽。
  • 6380端口的节点负责处理 5461 号至 10922 号插槽。
  • 6381端口的节点负责处理 10923 号至 16383 号插槽。

案例如下:

在这里插入图片描述

可以看到在 6379 端口登录,写入一个键 k1,因为 CRC16(k1)%16384 = 12706,而 12706 号插槽是由 6381 端口的redis节点负责处理的,所以将 k1-v1 重定向到 6381端口的redis 进行存储。这个机制的好处是插槽会把数据分担到了不同的主机中存储

2.4 在集群中录入值

1、在 redis-cli 每次录入、查询键值,redis都会计算出该key应该送往的插槽,如果不是该客户端对应服务器的插槽,redis会报错,并告知应前往的redis实例地址和端口。如下:

在这里插入图片描述

redis-cli 客户端提供了 –c 参数实现自动重定向。如 redis-cli -c –p 6379 登入后,再录入、查询键值对可以自动重定向。如下:

在这里插入图片描述

2、不在一个slot(插槽)下的键值,是不能使用 mget,mset 等多键操作。比如键 k1 和 k2 经过计算不是同一个 slot,那么他们就不能通过 mset 来操作,如下:

在这里插入图片描述

可以通过 {} 来定义的概念,从而使key中 {} 内相同内容的键值对放到一个slot中去。如下:

在这里插入图片描述

2.5 查询集群中的值

在这里插入图片描述

2.6 故障恢复

在集群中,如果主节点下线,从节点自动升为主节点。原主节点恢复后,原主节点变成现主节点的从机。案例如下:

在这里插入图片描述

如果所有某一段插槽的主从节点都宕掉,redis服务是否还能继续?

  • redis.conf 中有参数 cluster-require-full-coverage。

    如果某一段插槽的主从都挂掉,而cluster-require-full-coverage 为yes ,那么 ,整个集群都挂掉。

    如果某一段插槽的主从都挂掉,而cluster-require-full-coverage 为no ,那么,该插槽数据全都不能使用,也无法存储,其他插槽依然能进行服务。

3. 集群的Jedis开发

使用java来操作redis集群。

在项目 jedis_demo1 中创建一个类 RedisClusterDemo,如下:

public class RedisClusterDemo {
    public static void main(String[] args) {
        //创建对象
        HostAndPort hostAndPort = new HostAndPort("192.168.88.130", 6379);  //访问集群的任何一个节点即可(主机从机都可)
        JedisCluster jedisCluster = new JedisCluster(hostAndPort);

        //进行操作
        jedisCluster.set("k1", "v1");
        String value = jedisCluster.get("k1");
        System.out.println(value);

        jedisCluster.close();
    }
}

执行后控制台输出 “v1”,并且redis集群中有数据:

在这里插入图片描述

注意:如果上述代码执行出现问题如下:

在这里插入图片描述

4. 总结

集群的优点:

  • 实现扩容。比如redis写不进去了,可以用集群来扩容。

  • 分摊压力。用多台机器来分担某一台机器的压力。

  • 无中心化配置。任何一个节点都能进入集群,并且他们之间可以相互切换。

集群的缺点:

  • 多键操作是不被支持的
  • 多键的Redis事务是不被支持的。lua脚本不被支持

4. 总结

集群的优点:

  • 实现扩容。比如redis写不进去了,可以用集群来扩容。

  • 分摊压力。用多台机器来分担某一台机器的压力。

  • 无中心化配置。任何一个节点都能进入集群,并且他们之间可以相互切换。

集群的缺点:

  • 多键操作是不被支持的
  • 多键的Redis事务是不被支持的。lua脚本不被支持
  • 由于集群方案出现较晚,很多公司已经采用了其他的集群方案,而代理或者客户端分片的方案想要迁移至redis cluster,需要整体迁移而不是逐步过渡,复杂度较大。
#common #客户端超时时间 单位:ms spring.redis.timeout = 1000 #单位毫秒当锁失效时间为-1时,会使用此值作为失效时间,并且启用看门狗机制,失效时间过去三分之一时,并且还是持有锁,会进行刷新此锁的时间 spring.redis.lockWatchdogTimeout = 20000 #orderpool #控制一个pool可分配多少个jedis实例 spring.redis.jedis.pool.maxTotal = 1000 # 连接池最大阻塞等待时间(使用负值表示没有限制) spring.redis.pool.maxWaitMillis = 1000 #最大空闲数 spring.redis.jedis.pool.maxIdle = 300 #连接的最小空闲时间 默认1800000毫秒(30分钟) spring.redis.jedis.pool.minEvictableIdleTimeMillis = 300000 #每次释放连接的最大数目 spring.redis.jedis.pool.numTestsPerEvictionRun = 1024 #逐出扫描的时间间隔(毫秒) 如果为负数,则不运行逐出线程, 默认-1 spring.redis.jedis.pool.timeBetweenEvictionRunsMillis = 30000 #是否在从池中取出连接前进行检验,如果检验失败,则从池中去除连接并尝试取出另一个 spring.redis.jedis.pool.testOnBorrow = false #在空闲时检查有效性, 默认false spring.redis.jedis.pool.testWhileIdle = true #cluster配置 #test10 #spring.redis.cluster.nodes=10.86.8.18:6000,10.86.8.18:6001,10.86.8.18:6002,10.86.8.18:6003,10.86.8.18:6004,10.86.8.18:6005 #test11 #spring.redis.cluster.nodes=10.86.8.1:7000,10.86.8.1:7001,10.86.8.1:7002,10.86.8.1:7003,10.86.8.1:7004,10.86.8.1:7005 #test12 #spring.redis.cluster.nodes=10.86.8.18:7000,10.86.8.18:7001,10.86.8.13:7002,10.86.8.18:7003,10.86.8.18:7004,10.86.8.18:7005 #test13 spring.redis.cluster.nodes = 10.86.8.1:6000,10.86.8.1:6001,10.86.8.1:6002,10.86.8.1:6003,10.86.8.1:6004,10.86.8.1:6005 spring.redis.cluster.max-redirects = 3 #redisson 配置 #命令失败重试次数) 默认值:3 spring.redis.redisson.retryAttempts = 3 #(命令重试发送时间间隔,单位:毫秒 默认值:1500 spring.redis.redisson.retryInterval = 1500 这是redis的配置参数,这个参数配置有问题吗,我获取分布式锁失败,但是可以正常使用redis
11-06
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值