CentOs redis 集群安装部署

默认单机 主从 哨兵版本 都已熟悉了解
CentOS 单机redis安装 CentOS 单机redis安装

1.集群结构

IP	PORT	角色
192.168.150.101	7001	master
192.168.150.101	7002	master
192.168.150.101	7003	master
192.168.150.101	8001	slave
192.168.150.101	8002	slave
192.168.150.101	8003	slave

主从和哨兵可以解决高可用、高并发读的问题。但是依然有两个问题没有解决：

• 海量数据存储问题

• 高并发写的问题

分片集群特征：

• 集群中有多个master，每个master保存不同数据

• 每个master都可以有多个slave节点

• master之间通过ping监测彼此健康状态

• 客户端请求可以访问集群任意节点，最终都会被转发到正确节点

2.准备实例和配置

创建出7001、7002、7003、8001、8002、8003目录

# 进入/usr/local/redis/bin目录
cd /usr/local/redis/bin
# 创建目录
mkdir 7001 7002 7003 8001 8002 8003

在/usr/local/redis/bin下准备一个新的redis-cluster.conf文件，内容如下：

port 7001
# 开启集群功能
cluster-enabled yes
# 集群的配置文件名称，不需要我们创建，由redis自己维护
cluster-config-file /tmp/7001/nodes-cluster.conf
# 节点心跳失败的超时时间
cluster-node-timeout 15000
# 持久化文件存放目录
dir /tmp/7001
# 绑定地址
bind 0.0.0.0
# 让redis后台运行
daemonize yes
# 注册的实例ip
cluster-announce-ip 192.168.150.101
cluster-announce-port 7001
# 保护模式
protected-mode no
# 数据库数量
databases 1
# 日志
logfile /tmp/7001/run.log

将这个文件拷贝到每个目录下：

# 进入/usr/local/redis/bin目录
cd /usr/local/redis/bin
# 执行拷贝
echo 7001 7002 7003 8001 8002 8003 | xargs -t -n 1 cp redis-cluster.conf

修改每个目录下的redis-cluster.conf，将其中的7001修改为与所在目录一致：

# 进入/usr/local/redis/bin目录
cd /usr/local/redis/bin
# 修改配置文件
printf '%s\n' 7001 7002 7003 8001 8002 8003 | xargs -I{} -t sed -i 's/7001/{}/g' {}/redis-cluster.conf

3.启动6个节点实例

已经配置了后台启动模式，所以可以直接启动服务：

# 进入/usr/local/redis/bin目录
cd /usr/local/redis/bin
# 一键启动所有服务
printf '%s\n' 7001 7002 7003 8001 8002 8003 | xargs -I{} -t ./redis-server {}/redis-cluster.conf

通过ps查看状态：

ps -ef | grep redis

如果要关闭所有进程，可以执行命令：

ps -ef | grep redis | awk '{print $2}' | xargs kill
或者
printf '%s\n' 7001 7002 7003 8001 8002 8003 | xargs -I{} -t ./redis-cli -p {} shutdown

4.创建集群

虽然服务启动了，但是目前每个服务之间都是独立的，没有任何关联。
我们需要执行命令来创建集群，在Redis5.0之前创建集群比较麻烦，5.0之后集群管理命令都集成到了redis-cli中。

1）Redis5.0之前

Redis5.0之前集群命令都是用redis安装包下的src/redis-trib.rb来实现的。因为redis-trib.rb是有ruby语言编写的所以需要安装ruby环境。

# 安装依赖
yum -y install ruby ruby-devel rubygems rpm-build
查看版本
ruby -v 

我只默认安装ruby2.0  就行了 。网上说的还要安装ruby 2.4+版本gem 才行，我也试了 发现安装不上去 然后用默认发现也行。
版本 CentOS7 redis 6.2.4

然后通过命令来管理集群：

# 进入redis的src目录
cd /redis-6.2.4/src
# 创建集群
./redis-trib.rb create --replicas 1 117.72.9.7:7001 117.72.9.7:7002 117.72.9.7:7003 117.72.9.7:8001 117.72.9.7:8002 117.72.9.7:8003

2）Redis5.0以后

我们使用的是Redis6.2.4版本，集群管理以及集成到了redis-cli中，格式如下：

./redis-cli --cluster create --cluster-replicas 1 117.72.9.7:7001 117.72.9.7:7002 117.72.9.7:7003 117.72.9.7:8001 117.72.9.7:8002 117.72.9.7:8003

命令说明：

• redis-cli --cluster或者./redis-trib.rb：代表集群操作命令
• create：代表是创建集群
• --replicas 1或者--cluster-replicas 1 ：指定集群中每个master的副本个数为1，此时n=(节点总数 ÷ (replicas + 1) ) => 6/(1+1)=3 得到的就是master的数量。因此节点列表中的前n个就是master，其它节点都是slave节点，随机分配到不同master

运行后的样子：

这里输入yes，则集群开始创建：

通过命令可以查看集群状态：

./redis-cli -p 7001 cluster nodes

5.测试集群命令

尝试连接7001节点，存储一个数据：

# 连接
redis-cli -p 7001
# 存储数据
set num 123
# 读取数据
get num
# 再次存储
set a 1

结果悲剧了：

集群操作时，需要给redis-cli加上-c参数才可以：

./redis-cli -c -p 7001

这次可以了：

6.散列插槽

6.1.插槽原理

Redis会把每一个master节点映射到0~16383共16384个插槽（hash slot）上，查看集群信息时就能看到：

数据key不是与节点绑定，而是与插槽绑定。redis会根据key的有效部分计算插槽值，分两种情况：

• key中包含"{}"，且“{}”中至少包含1个字符，“{}”中的部分是有效部分
• key中不包含“{}”，整个key都是有效部分

例如：key是num，那么就根据num计算，如果是{itcast}num，则根据itcast计算。计算方式是利用CRC16算法得到一个hash值，然后对16384取余，得到的结果就是slot值。

如图，在7001这个节点执行set a 1时，对a做hash运算，对16384取余，得到的结果是15495，因此要存储到103节点。

到了7003后，执行get num时，对num做hash运算，对16384取余，得到的结果是2765，因此需要切换到7001节点

6.2.小结

Redis如何判断某个key应该在哪个实例？

• 将16384个插槽分配到不同的实例
• 根据key的有效部分计算哈希值，对16384取余
• 余数作为插槽，寻找插槽所在实例即可

如何将同一类数据固定的保存在同一个Redis实例？

• 这一类数据使用相同的有效部分，例如key都以{typeId}为前缀

7.集群伸缩

redis-cli --cluster提供了很多操作集群的命令，可以通过下面方式查看：

比如，添加节点的命令：

7.1.需求分析

需求：向集群中添加一个新的master节点，并向其中存储 num = 10

• 启动一个新的redis实例，端口为7004
• 添加7004到之前的集群，并作为一个master节点
• 给7004节点分配插槽，使得num这个key可以存储到7004实例

这里需要两个新的功能：

• 添加一个节点到集群中
• 将部分插槽分配到新插槽

7.2.创建新的redis实例

创建一个文件夹：

mkdir 7004

拷贝配置文件：

cp redis-cluster.conf /7004

修改配置文件：

sed /s/7001/7004/g 7004/redis-cluster.conf

启动

./redis-server 7004/redis.conf

7.3.添加新节点到redis

添加节点的语法如下：

执行命令：

./redis-cli --cluster add-node  192.168.150.101:7004 192.168.150.101:7001

通过命令查看集群状态：

./redis-cli -p 7001 cluster nodes

如图，7004加入了集群，并且默认是一个master节点：

但是，可以看到7004节点的插槽数量为0，因此没有任何数据可以存储到7004上

7.4.转移插槽

我们要将num存储到7004节点，因此需要先看看num的插槽是多少：

如上图所示，num的插槽为2765.

我们可以将0~3000的插槽从7001转移到7004，命令格式如下：

具体命令如下：

建立连接：

得到下面的反馈：

询问要移动多少个插槽，我们计划是3000个：

新的问题来了：

那个node来接收这些插槽？？

显然是7004，那么7004节点的id是多少呢？

复制这个id，然后拷贝到刚才的控制台后：

这里询问，你的插槽是从哪里移动过来的？

• all：代表全部，也就是三个节点各转移一部分
• 具体的id：目标节点的id
• done：没有了

这里我们要从7001获取，因此填写7001的id：

填完后，点击done，这样插槽转移就准备好了：

确认要转移吗？输入yes：

然后，通过命令查看结果：

./redis-cli -p 7001 cluster nodes

可以看到：

目的达成。

7.5 删除集群一个主从结构(缩)

步骤
1.将该主从结构中的从节点下线

./redis-cli --cluster del-node  117.72.9.7:7004 d8d85572e1c597f3a525967b858b56f076c77c46

2.将主节点中的slots分配到其他主节点中(步骤和7.4转移插槽一样 节点ip不同)

./redis-cli --cluster reshard  117.72.9.7:7001

3.下线主节点

./redis-cli --cluster del-node  117.72.9.7:7004 d8d85572e1c597f3a525967b858b56f076c77c46

4.将主从节点服务停掉

kill -9 1122
或者
ps -ef | grep redis | awk '{print $2}' | xargs kill
或者
printf '%s\n' 7001 7002 7003 8001 8002 8003 | xargs -I{} -t ./redis-cli -p {} shutdown

5.直接删除集群节点报错 只能按照步骤来

8.故障转移

集群初识状态是这样的：

其中7001、7002、7003都是master，我们计划让7002宕机。

8.1.自动故障转移

当集群中有一个master宕机会发生什么呢？

直接停止一个redis实例，例如7002：

./redis-cli -p 7002 shutdown

1）首先是该实例与其它实例失去连接

2）然后是疑似宕机：

3）最后是确定下线，自动提升一个slave为新的master：

4）当7002再次启动，就会变为一个slave节点了：

8.2.手动故障转移

利用cluster failover命令可以手动让集群中的某个master宕机，切换到执行cluster failover命令的这个slave节点，实现无感知的数据迁移。其流程如下：

这种failover命令可以指定三种模式：

• 缺省：默认的流程，如图1~6歩
• force：省略了对offset的一致性校验
• takeover：直接执行第5歩，忽略数据一致性、忽略master状态和其它master的意见

案例需求：在7002这个slave节点执行手动故障转移，重新夺回master地位

步骤如下：

1）利用redis-cli连接7002这个节点

2）执行cluster failover命令

如图：

效果：

9.常用命令

集群客户端连接
./redis-cli -c -p 7001
获取集群节点信息
./redis-cli -c -p 7001 cluster nodes
获取集群信息
./redis-cli -c -p 7001 cluster info
集群操作帮助命令
./redis-cli --cluster help
分配slots
redis-cli -p 7000 cluster addslots {0..5461}
指定主从关系 8000是另一个节点slave
./redis-cli -p 8000 cluster replicate be816eba968bc16c884b963d768c945e86ac51ae
节点握手
cluster meet 192.168.72.128 7002
分配插槽 分配插槽117.72.9.7:7001 上的插槽
./redis-cli --cluster reshard  117.72.9.7:7001
添加节点到集群
./redis-cli --cluster add-node  117.72.9.7:7004 117.72.9.7:7004
删除集群中的节点 
./redis-cli --cluster del-node 117.72.9.7:7004 f7c50a8e6f08a552e6eb6476a87170510fe49ac0

注意

• 集群有16384个槽，槽是数据管理和迁移的基本单位。当数据库中的16384个槽都分配了节点时，集群处于上线状态（ok）；如果有任意一个槽没有分配节点，则集群处于下线状态（fail）
• 如果要加入新节点 则需要添加节点和分配插槽。如果要删除节点则需要先删除slave节点 再把master节点的slots分配给其他节点 再删除master节点
• 如果一个主从宕机则整个集群都会无法服务,重启master即可重新连接

10.整合redisson

1.配置redisson属性

/**
 * Redis 连接配置 <a href="https://github.com/redisson/redisson/tree/master/redisson-spring-boot-starter">redisson-spring-boot-starter</a>
 */
@Data
@ConfigurationProperties(prefix = "redis.cluster.config", ignoreInvalidFields = true)
public class RedisClientClusterConfigProperties {

    /**
     * dleConnectionTimeout（连接空闲超时，单位：毫秒）
     * 默认值：10000
     * 如果当前连接池里的连接数量超过了最小空闲连接数，而同时有连接空闲时间超过了该数值，那么这些连接将会自动被关闭，并从连接池里去掉。时间单位是毫秒。
     */
    private int idleConnectionTimeout  = 10000;
    /**
     *connectTimeout（连接超时，单位：毫秒）
     * 默认值：10000
     *
     * 从节点建立连接时的等待超时。时间单位是毫秒。
     */
    private int connectTimeout = 10000;
    /**
     * timeout（命令等待超时，单位：毫秒）
     * 默认值：3000
     *
     * 等待节点回复命令的时间。该时间从命令发送成功时开始计时。
     */
    private int timeout = 3000;
    /**
     *retryAttempts（命令失败重试次数）
     * 默认值：3
     *
     * 如果尝试达到 retryAttempts（命令失败重试次数） 仍然不能将命令发送至某个指定的节点时，将抛出错误。如果尝试在此限制之内发送成功，则开始启用 timeout（命令等待超时） 计时。
     */
    private int retryAttempts = 3;
    /**
     *retryInterval（命令重试发送时间间隔，单位：毫秒）
     * 默认值：1500
     *
     * 在某个节点执行相同或不同命令时，连续 失败 failedAttempts（执行失败最大次数） 时，该节点将被从可用节点列表里清除，直到 reconnectionTimeout（重新连接时间间隔） 超时以后再次尝试。
     */
    private int retryInterval = 1500;
    /**
     * password（密码）
     * 默认值：null
     *
     * 用于节点身份验证的密码。
     */
    private String password;
    /**
     *subscriptionsPerConnection（单个连接最大订阅数量）
     * 默认值：5
     *
     * 每个连接的最大订阅数量。
     */
    private int subscriptionsPerConnection = 5;
    /**
     *clientName（客户端名称）
     * 默认值：null
     *
     * 在Redis节点里显示的客户端名称。
     */
    private String clientName;
    /**
     * loadBalancer（负载均衡算法类的选择）
     * 默认值： org.redisson.connection.balancer.RoundRobinLoadBalancer
     *
     * 在使用多个Redis服务节点的环境里，可以选用以下几种负载均衡方式选择一个节点： org.redisson.connection.balancer.WeightedRoundRobinBalancer - 权重轮询调度算法 org.redisson.connection.balancer.RoundRobinLoadBalancer - 轮询调度算法 org.redisson.connection.balancer.RandomLoadBalancer - 随机调度算法
     */
    private String loadBalancer = "org.redisson.connection.balancer.RoundRobinLoadBalancer";
    /**
     *subscriptionConnectionMinimumIdleSize（从节点发布和订阅连接的最小空闲连接数）
     * 默认值：1
     *
     * 多从节点的环境里，每个 从服务节点里用于发布和订阅连接的最小保持连接数（长连接）。Redisson内部经常通过发布和订阅来实现许多功能。长期保持一定数量的发布订阅连接是必须的。
     */
    private int slaveSubscriptionConnectionMinimumIdleSize = 1;
    /**
     *subscriptionConnectionPoolSize（从节点发布和订阅连接池大小）
     * 默认值：50
     *
     * 多从节点的环境里，每个 从服务节点里用于发布和订阅连接的连接池最大容量。连接池的连接数量自动弹性伸缩。
     */
    private int slaveSubscriptionConnectionPoolSize = 50;
    /**
     *slaveConnectionMinimumIdleSize（从节点最小空闲连接数）
     * 默认值：32
     *
     * 多从节点的环境里，每个 从服务节点里用于普通操作（非 发布和订阅）的最小保持连接数（长连接）。长期保持一定数量的连接有利于提高瞬时读取反映速度。
     */
    private int slaveConnectionMinimumIdleSize = 32;
    /**
     *slaveConnectionPoolSize（从节点连接池大小）
     * 默认值：64
     *
     * 多从节点的环境里，每个 从服务节点里用于普通操作（非 发布和订阅）连接的连接池最大容量。连接池的连接数量自动弹性伸缩。
     */
    private int slaveConnectionPoolSize = 64;
    /**
     *masterConnectionMinimumIdleSize（主节点最小空闲连接数）
     * 默认值：32
     *
     * 多从节点的环境里，每个 主节点的最小保持连接数（长连接）。长期保持一定数量的连接有利于提高瞬时写入反应速度。
     */
    private int masterConnectionMinimumIdleSize = 32;
    /**
     *masterConnectionPoolSize（主节点连接池大小）
     * 默认值：64
     *
     * 主节点的连接池最大容量。连接池的连接数量自动弹性伸缩。
     */
    private int masterConnectionPoolSize = 64;
    /**
     *readMode（读取操作的负载均衡模式）
     * 默认值： SLAVE（只在从服务节点里读取）
     *
     * 注：在从服务节点里读取的数据说明已经至少有两个节点保存了该数据，确保了数据的高可用性。
     *
     * 设置读取操作选择节点的模式。 可用值为： SLAVE - 只在从服务节点里读取。 MASTER - 只在主服务节点里读取。 MASTER_SLAVE - 在主从服务节点里都可以读取
     */
    private String readMode = "SLAVE";
    /**
     * nodeAddresses（添加节点地址）
     * 可以通过redis://host:port的格式来添加Redis集群节点的地址。多个节点可以一次性批量添加。
     */
    private String[] nodeAddresses;
    /**
     * scanInterval（集群扫描间隔时间）
     * 默认值： 1000
     *
     * 对Redis集群节点状态扫描的时间间隔。单位是毫秒。
     */
    private int scanInterval = 1000;
    /**
     *database（数据库编号）
     * 默认值：0
     *
     * 尝试连接的数据库编号。
     */
    private int database = 0;
    /**
     * 设置是否保持长连接，默认为true
     */
    private boolean keepAlive = true;

}

/**
 * 官方文档地址
 *  *  https://github.com/redisson/redisson/wiki/2.-%E9%85%8D%E7%BD%AE%E6%96%B9%E6%B3%95#281-%E4%B8%BB%E4%BB%8E%E6%A8%A1%E5%BC%8F%E8%AE%BE%E7%BD%AE
 */
@Configuration
@EnableConfigurationProperties(RedisClientClusterConfigProperties.class)
public class RedisClientClusterConfig {

    @Bean("redissonClient")
    public RedissonClient redissonClient(ConfigurableApplicationContext applicationContext, RedisClientClusterConfigProperties properties) throws Exception{
        Config config = new Config();
        // 通用配置
        /**
         * codec（编码）
         * 默认值: org.redisson.codec.JsonJacksonCodec
         *
         * Redisson的对象编码类是用于将对象进行序列化和反序列化，以实现对该对象在Redis里的读取和存储。Redisson提供了以下几种的对象编码应用，以供大家选择
         */
        config.setCodec(new StringCodec());
        /**
         * threads（线程池数量）
         * 默认值: 当前处理核数量 * 2
         * 这个线程池数量被所有RTopic对象监听器，RRemoteService调用者和RExecutorService任务共同共享。
         * 当前配置默认值 16
         */
        config.setThreads(config.getThreads());
        /**
         * nettyThreads （Netty线程池数量）
         * 默认值: 当前处理核数量 * 2
         *
         * 这个线程池数量是在一个Redisson实例内，被其创建的所有分布式数据类型和服务，以及底层客户端所一同共享的线程池里保存的线程数量。
         * 当前配置默认值 32
         */
        config.setNettyThreads(config.getNettyThreads());
        /**
         * 默认值：TransportMode.NIO
         *
         * 可选参数：
         * TransportMode.NIO,
         * TransportMode.EPOLL - 需要依赖里有netty-transport-native-epoll包（Linux） TransportMode.KQUEUE - 需要依赖里有 netty-transport-native-kqueue包（macOS）
         */
        config.setTransportMode(config.getTransportMode());
        /**
         * 单独提供一个用来执行所有RTopic对象监听器，RRemoteService调用者和RExecutorService任务的线程池（ExecutorService）实例。
         */
        config.setExecutor(config.getExecutor());
        /**
         * 用于特别指定一个EventLoopGroup. EventLoopGroup是用来处理所有通过Netty与Redis服务之间的连接发送和接受的消息。每一个Redisson都会在默认情况下自己创建管理一个EventLoopGroup实例。因此，如果在同一个JVM里面可能存在多个Redisson实例的情况下，采取这个配置实现多个Redisson实例共享一个EventLoopGroup的目的。
         *
         * 只有io.netty.channel.epoll.EpollEventLoopGroup或io.netty.channel.nio.NioEventLoopGroup才是允许的类型。
         */
        config.setEventLoopGroup(config.getEventLoopGroup());
        /**
         * lockWatchdogTimeout（监控锁的看门狗超时，单位：毫秒）
         * 默认值：30000
         *
         * 监控锁的看门狗超时时间单位为毫秒。该参数只适用于分布式锁的加锁请求中未明确使用leaseTimeout参数的情况。如果该看门口未使用lockWatchdogTimeout去重新调整一个分布式锁的lockWatchdogTimeout超时，那么这个锁将变为失效状态。这个参数可以用来避免由Redisson客户端节点宕机或其他原因造成死锁的情况。
         * 当前配置默认值 30000
         */
        config.setLockWatchdogTimeout(config.getLockWatchdogTimeout());
        /**
         * 默认值：true
         *
         * 通过该参数来修改是否按订阅发布消息的接收顺序出来消息，如果选否将对消息实行并行处理，该参数只适用于订阅发布消息的情况。
         */
        config.setKeepPubSubOrder(true);

        BaseConfig<ClusterServersConfig> serverConfig = config.useClusterServers()
                .setScanInterval(properties.getScanInterval())
                .addNodeAddress(properties.getNodeAddresses())
                .setIdleConnectionTimeout(properties.getIdleConnectionTimeout())
                .setConnectTimeout(properties.getConnectTimeout())
                .setTimeout(properties.getTimeout())
                .setRetryAttempts(properties.getRetryAttempts())
                .setRetryInterval(properties.getRetryInterval())
                .setSubscriptionsPerConnection(properties.getSubscriptionsPerConnection())
                .setClientName(properties.getClientName())
                .setLoadBalancer((LoadBalancer) Class.forName(properties.getLoadBalancer()).newInstance())
                .setSlaveConnectionMinimumIdleSize(properties.getSlaveConnectionMinimumIdleSize())
                .setSlaveConnectionPoolSize(properties.getSlaveConnectionPoolSize())
                .setMasterConnectionMinimumIdleSize(properties.getMasterConnectionMinimumIdleSize())
                .setMasterConnectionPoolSize(properties.getMasterConnectionPoolSize())
                .setReadMode(ReadMode.valueOf(properties.getReadMode()))
                .setKeepAlive(properties.isKeepAlive())
                // 不在启动的时候检查slots
                // .setCheckSlotsCoverage(false)
                ;

        if (StrUtil.isNotBlank(properties.getPassword())) {
            serverConfig.setPassword(properties.getPassword());
        }
        config.setCodec(new StringCodec());
        return Redisson.create(config);
    }

    // 哨兵模式配置时读写分离 目的是让lettuce 优先在repliate节点读取数据
    // @Bean
    // public LettuceClientConfigurationBuilderCustomizer clientConfigurationBuilderCustomizer(){
    //     return clientConfigurationBuilder -> clientConfigurationBuilder.readFrom(ReadFrom.REPLICA_PREFERRED);
    // }

}

yml配置

redis:
  cluster:
    config:
      idleConnectionTimeout: 10000
      connectTimeout: 10000
      timeout: 3000
      retryAttempts: 3
      retryInterval: 1500
      password: null
      subscriptionsPerConnection: 5
      clientName: null
      loadBalancer: "org.redisson.connection.balancer.RoundRobinLoadBalancer"
      slaveSubscriptionConnectionMinimumIdleSize: 1
      slaveSubscriptionConnectionPoolSize: 50
      slaveConnectionMinimumIdleSize: 32
      slaveConnectionPoolSize: 64
      masterConnectionMinimumIdleSize: 32
      masterConnectionPoolSize: 64
      readMode: "SLAVE"
      nodeAddresses:
        - "redis://117.72.9.7:7001"
        - "redis://117.72.9.7:7002"
        - "redis://117.72.9.7:7003"
        - "redis://117.72.9.7:8001"
        - "redis://117.72.9.7:8002"
        - "redis://117.72.9.7:8003"
      scanInterval: 1000
      database: 0

11

参考文献

深入学习Redis（5）：集群

《Redis开发与运维》

《Redis设计与实现》

https://redis.io/topics/cluster-tutorial

https://redis.io/topics/cluster-spec

https://mp.weixin.qq.com/s/d6hzmk31o7VBsMYaLdQ5mw

https://www.cnblogs.com/lpfuture/p/5796398.html

http://www.zsythink.net/archives/1182/

https://www.cnblogs.com/xxdfly/p/5641719.html