redis集群搭建

redis集群介绍

主从集群

主从结构的redis由主节点负责读写操作，从节点负责读操作，也就是我们把数据写入主节点，我们的主节点就会向两个从节点写入数据，如果我们要读的时候就专门用从节点来读取，当然主节点也是可用读取的，只不过用从节点读取效率更高。

主从架构，一主多从，一般来说，很多项目其实就足够了，单主用来写入数据，单机几万QPS，多从用来查询数据，多个从实例可以提供每秒10万的QPS

主从集群有一个缺点，从节点有集群，当一个从节点宕机了还有其他从节点，但是如果是我们的主节点宕机了，那就比较麻烦了
主从哨兵集群

哨兵主从集群就比我们的主从集群多了几个节点来作为我们的哨兵，哨兵主要就是为了解决我们主节点宕机的情况，当我们主节点宕机了，就由哨兵来投票选择出从节点来成为新的主节点，并且把我们主节点的所有数据原样复制到新的主节点，所以这里就要体到我们的哨兵数量最好是奇数，不然容易出现票数对等的情况。

主节点的存储受限于内存最小的从节点，比如图中两个从节点内存是10G，主节点由20G，但是主节点也最多只能存放10G的东西，因为数据要下移，多了就会有溢出

分片集群

尽管可以使用哨兵主从集群实现可用性保证，但是这种实现方式每个节点的数据都是全量复制，数据存放量存在着局限性，受限于内存最小的节点，因此考虑采用数据分片的方式，来实现存储，这个就是redis-cluster。

官方推荐，毋庸置疑。
去中心化，集群最大可增加1000个节点，性能随节点增加而线性扩展。
管理方便，后续可自行增加或摘除节点，移动分槽等等。

简单说一下原理
redis cluster在设计的时候，就考虑到了去中心化，去中间件，也就是说，集群中的每个节点都是平等的关系，都是对等的，
每个节点都保存各自的数据和整个集群的状态。每个节点都和其他所有节点连接，而且这些连接保持活跃，
这样就保证了我们只需要连接集群中的任意一个节点，就可以获取到其他节点的数据。

Redis集群没有并使用传统的一致性哈希来分配数据，而是采用另外一种叫做哈希槽 (hash slot)的方式来分配的。
redis cluster 默认分配了 16384 个slot，当我们set一个key 时，会用CRC16算法来取模得到所属的slot，
然后将这个key 分到哈希槽区间的节点上，具体算法就是：CRC16(key) % 16384。所以我们在测试的时候看到set和get的时候，
直接跳转到了7000端口的节点。

Redis集群会把数据存在一个master节点，然后在这个master和其对应的salve之间进行数据同步。当读取数据时，
也根据一致性哈希算法到对应的master节点获取数据。只有当一个master挂掉之后，才会启动一个对应的salve节点，充当 master 。

redis cluster 为了保证数据的高可用性，加入了主从模式，一个主节点对应一个或多个从节点，主节点提供数据存取，
从节点则是从主节点拉取数据备份，当这个主节点挂掉后，就会有这个从节点选取一个来充当主节点，从而保证集群不会挂掉。

需要注意的是：必须要3个或以上的主节点，否则在创建集群时会失败，并且当存活的主节点数小于总节点数的一半时，
整个集群就无法提供服务了。

分片集群搭建

首先要搭建好单机redis的环境，并且下载好redis，这里就不再说了
单机不会搭建的看我这篇博客：https://blog.csdn.net/qq_43517653/article/details/100930587

我单机redis搭建的目录是在 cd /usr/local/redis
测试完单机的没问题之后，就开始搭建集群了

首先在目录下创建一个文件夹，然后权分别创建我们准备搭建集群的文件夹，这里总共6个
mkdir redis-cluster
cd redis-cluster
mkdir 7001 7002 7003 7004 7005 7006

我们就拿7001做演示，先复制一份redis配置文件进去

  ###复制redis.conf到7001目录下并命名为redis-7001.conf
  cp /usr/local/redis/redis-5.0.2/redis.conf /usr/local/redis/redis-cluster/7001/redis-7001.conf

然后修改配置文件，要修改的地方都在下面了

	    #修改redis-7001.conf相关参数，模板如下：
	    #1 绑定端口号                 
	    port 7001  
	    #2 注释掉，这样任何桌面客户端都可以连接了
	    #bind 192.168.4.115
	    #3 指定文件存放路径(.rdb .aof nodes-xxxx.conf等文件都会在此路径下)
	    dir /usr/local/redis/redis-5.0.3/redis-cluster/7001
	    #4 开启redis-cluster集群
	    cluster-enabled yes                                                     
	    #5 后台启动
	    daemonize yes                                                      
	    #6 指定集群节点超时时间
	    cluster-node-timeout 500
	    #7 每个实例还包含存储此节点配置的文件的路径，默认情况下为nodes.conf，为redis-server进程自动维护，不能手工修改
	    cluster-config-file nodes_7001.conf
	    #8 指定持久化方式
	    appendonly yes
	    # 非保护模式，不然远程还是连接不了
	    protected-mode no 

同样操作复制五遍就好了，这样我们的6个redis实例就配置好了
我们就能开启我们的6个redis实例，但是此时还并不是集群

可以写一个启动脚本start-redis-cluster.sh，模板如下：

#!/bin/sh
REDIS_HOME=/usr/local/redis
redis-server $REDIS_HOME/redis-cluster/7001/redis-7001.conf
redis-server $REDIS_HOME/redis-cluster/7002/redis-7002.conf
redis-server $REDIS_HOME/redis-cluster/7003/redis-7003.conf
redis-server $REDIS_HOME/redis-cluster/7004/redis-7004.conf
redis-server $REDIS_HOME/redis-cluster/7005/redis-7005.conf
redis-server $REDIS_HOME/redis-cluster/7006/redis-7006.conf

cd /usr/local/redis/redis-cluster
chmod a+x ./start-redis-cluster.sh #添加权限，不然无法执行
./start-redis-cluster.sh #执行脚本

然后我们执行命令服务就启动了

但是这还是只是单个服务节点，信息还不能共通

       ps -ef | grep redis              #查看redis启动情况
       netstat -tnlp | grep redis       #查看redis端口开启情况

启动集群
#命令太长，用空格+斜杠换行（192.168.199.134就是你虚拟机的地址）
redis-cli --cluster create 192.168.43.11:7001 192.168.43.11:7002 \
192.168.43.11:7003 192.168.43.11:7004 \
192.168.43.11:7005 192.168.43.11:7006 \
–cluster-replicas 1

   查看集群信息
   cluster info

   查看节点信息
   cluster nodes

然后我们在7001端口添加一条数据，然后去其他节点读取

进入集群节点
redis-cli -c -h 192.168.43.11 -p 7001

新增节点
redis-cli --cluster add-node {新节点IP}:{新节点端口} {任意集群节点IP}:{对应端口} #如果添加集群中的主节点，则新添加的就是主节点，如果是从节点则是从节点

可能会遇见的BUG

报错如下,提示我们redis服务实例上的数据不为空，因此逐个实例连接，执行flushdb，清空数据
[ERR] Node 127.0.0.1:6379 is not empty. Either the node already knows other nodes (check with CLUSTER NODES) or contains some key in database 0.

将节点下aof、rdb等本地备份文件删除；

end…