Redis 集群模拟搭建

新版本搭建：

参考：https://blog.csdn.net/qq_34002221/article/details/85011041

Redis 5.0之后版本的高可用集群搭建。
Redis系列介绍：
Redis的基础介绍与安装使用步骤：https://blog.csdn.net/qq_34002221/article/details/84963588
Redis的基础数据结构与使用：    https://blog.csdn.net/qq_34002221/article/details/84981299
Redis核心原理：https://blog.csdn.net/qq_34002221/article/details/84996919
Redis 5 之后版本的高可用集群搭建：https://blog.csdn.net/qq_34002221/article/details/85011041
Redis 5 版本的高可用集群的水平扩展：https://blog.csdn.net/qq_34002221/article/details/85019752
Redis 5 集群选举原理分析:https://blog.csdn.net/qq_34002221/article/details/85042536
 

集群方案比较：
redis3.0版本的集群模式
哨兵模式：
在redis3.0以前的版本要实现集群一般是借助哨兵sentinel工具来监控master节点的状态，如果master节点异常，则会做主从切换，将某一台slave作为master，哨兵的配置略微复杂，并且性能和高可用性等各方面表现一般，特别是在主从切换的瞬间存在访问瞬断的情况，而且哨兵模式只有一个主节点对外提供服务，没法支持很高的并发，且单个主节点内存也不宜设置得过大，否则会导致持久化文件过大，影响数据恢复或主从同步的效率。
 

 

高可用集群模式：
redis集群是一个由多个主从节点群组成的分布式服务器群，它具有复制、高可用和分片特性。Redis集群不需要sentinel哨兵也能完成节点移除和故障转移的功能。需要将每个节点设置成集群模式，这种集群模式没有中心节点，可水平扩展，据官方文档称可以线性扩展到上万个节点(官方推荐不超过1000个节点)。redis集群的性能和高可用性均优于之前版本的哨兵模式，且集群配置非常简单。

下载地址：http://redis.io/download

1、安装gcc

  参考redis单机版安装单台 redis：https://blog.csdn.net/Stephen_mu/article/details/90444551

2、把下载好的redis-5.0.2.tar.gz放在/usr/local文件夹下，并解压

wget http://download.redis.io/releases/redis-5.0.2.tar.gz

tar xzf redis-5.0.5.tar.gz

cd redis-5.0.5

3、进入到解压好的redis-5.0.2目录下，进行编译与安装

make 
make install

4、启动并指定配置文件

/usr/local/redis-5.0.5/src/redis-server redis.conf
（注意要使用后台启动，所以修改redis.conf里的daemonize改为yes)

5、验证启动是否成功

ps -ef | grep redis 

6、进入redis客户端

cd /usr/local/redis/redis-5.0.5/src
./redis-cli 

7、退出客户端

exit

8、退出redis服务：

pkill redis-server
kill 进程号
src/redis-cli shutdown

二、开始集群搭建

redis集群需要至少要三个master节点，我们这里搭建三个master节点，并且给每个master再搭建一个slave节点，总共6个redis节点，这里用一台机器（可以多台机器部署，修改一下ip地址就可以了）部署6个redis实例，三主三从，搭建集群的步骤如下：
第一步：在第一台机器的/usr/local下创建文件夹redis-cluster，然后在其下面创建6个文件夾如下:
 

mkdir -p /usr/local/redis-cluster

mkdir 7001 7002 7003 7004 7005 7006

第二步：把之前的redis.conf配置文件copy到8001下，修改如下内容：
（1）daemonize yes
（2）port 8001（分别对每个机器的端口号进行设置）
（3）dir /usr/local/redis-cluster/8001/（指定数据文件存放位置，必须要指定不同的目录位置，不然会丢失数据）
（4）cluster-enabled yes（启动集群模式）
（5）cluster-config-file nodes-8001.conf（集群节点信息文件，这里800x最好和port对应上）
（6）cluster-node-timeout 5000
 ( 7 ) # bind 127.0.0.1（去掉bind绑定访问ip信息）
 ( 8 ) protected-mode no （关闭保护模式）
 ( 9 ) appendonly yes
  如果要设置密码需要增加如下配置：
（10）requirepass xxx (设置redis访问密码)
（11）masterauth xxx (设置集群节点间访问密码，跟上面一致)
第三步：把修改后的配置文件，copy到8002-8006，修改第2、3、5项里的端口号，可以用批量替换：

不懂这一步就自己手动操作吧

:%s/源字符串/目的字符串/g

第四步：分别启动6个redis实例，然后检查是否启动成功

/usr/local/redis-5.0.5/src/redis-server /usr/local/redis-cluster/7001/redis.conf
/usr/local/redis-5.0.5/src/redis-server /usr/local/redis-cluster/7002/redis.conf
/usr/local/redis-5.0.5/src/redis-server /usr/local/redis-cluster/7003/redis.conf
/usr/local/redis-5.0.5/src/redis-server /usr/local/redis-cluster/7004/redis.conf
/usr/local/redis-5.0.5/src/redis-server /usr/local/redis-cluster/7005/redis.conf
/usr/local/redis-5.0.5/src/redis-server /usr/local/redis-cluster/7006/redis.conf

查看是否启动成功

ps -ef|grep redis

第五步：用redis-cli创建整个redis集群(redis5以前的版本集群是依靠ruby脚本redis-trib.rb实现)

/usr/local/redis-5.0.5/src/redis-cli --cluster create --cluster-replicas 1 192.168.28.129:7001 192.168.28.129:7002 192.168.28.129:7003 192.168.28.129:7004 192.168.28.129:7005 192.168.28.129:7006

代表为每个创建的主服务器节点创建一个从服务器节点

第七步：验证集群：

（1）连接任意一个客户端即可：

/usr/local/redis-5.0.5/src/redis-cli -c -a xxx -h 192.168.28.129 -p 7001

-a访问服务端密码
-c表示集群模式    需要带上
指定ip地址和端口号

例如：由于我没有配置密码  命令运行如下：
/usr/local/redis-5.0.5/src/redis-cli -c -h 192.168.28.129 -p 7001

（2）进行验证： cluster info（查看集群信息）、cluster nodes（查看节点列表）

 

 

关闭集群则需要逐个进行关闭，使用命令：

 

/usr/local/redis-5.0.5/src/redis-cli -c -a xxx -h 192.168.28.129 -p 7001 shutdown

-a访问服务端密码
-c表示集群模式    需要带上
指定ip地址和端口号

例子：我这里逐个关闭redis

/usr/local/redis-5.0.5/src/redis-cli -c -h 192.168.28.129 -p 7001 shutdown
/usr/local/redis-5.0.5/src/redis-cli -c -h 192.168.28.129 -p 7002 shutdown
/usr/local/redis-5.0.5/src/redis-cli -c -h 192.168.28.129 -p 7003 shutdown
/usr/local/redis-5.0.5/src/redis-cli -c -h 192.168.28.129 -p 7004 shutdown
/usr/local/redis-5.0.5/src/redis-cli -c -h 192.168.28.129 -p 7005 shutdown
/usr/local/redis-5.0.5/src/redis-cli -c -h 192.168.28.129 -p 7006 shutdown

 

redis集群远程连接问题

1.检查是否为只允许本地连接

ps -ef|grep redis

如果返回的端口前为127.0.0.1:7001   则表示为只允许本地连接
需要去redis.conf配置文件中 将bind 127.0.0.1 注释掉

 2.防火墙，端口未开放

#别说，这他妈的老好用了，嘻嘻
我们直接关闭防火墙
systemctl stop firewalld.service           #停止firewall
systemctl disable firewalld.service     #禁止firewall开机启动

 

-------------------------------------------------------------------------------------------------------------------------------------------------------------------------

老版本搭建：

redis集群结构 

 

架构细节:
(1)所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽.
(2)节点的fail是通过集群中超过半数的节点检测失效时才生效.
(3)客户端与redis节点直连,不需要中间proxy层.客户端不需要连接集群所有节点,连接集群中任何一个可用节点即可
(4)redis-cluster把所有的物理节点映射到[0-16383]slot上,cluster 负责维护node<->slot<->value
Redis 集群中内置了 16384 个哈希槽，当需要在 Redis 集群中放置一个 key-value 时，redis 先对 key 使用 crc16 算法算出一个结果，然后把结果对 16384 求余数，这样每个 key 都会对应一个编号在 0-16383 之间的哈希槽，redis 会根据节点数量大致均等的将哈希槽映射到不同的节点

集群搭建过程

1.首先

      参考redis单机版安装单台 redis：https://blog.csdn.net/Stephen_mu/article/details/90444551

2.复制多台redis

在安装目录下创建redis集群目录
mkdir /usr/local/redis-cluster/

复制redis到集群目录下，并且复制多台（由于redis内部特性--投票机制，redis集群至少需要三台redis）
mv /usr/local/redis /usr/local/redis-cluster/ -r

重命名且复制多台(均赋予不同名称)
mv redis redis01
mv redis redis02
mv redis redis03......

配置修改每一台redis的端口号（7001-7006），设置允许集群
vim ./redis01/bin/redis.conf
修改
port 7001
cluster-enable yes

3.安装ruby环境

ubuntu

apt-get install ruby        安装ruby
apt-get install rubygems  

4.需要一个ruby脚本

在redis源码文件夹下的src目录下。redis-trib.rb      把redis-trib.rb文件复制到到redis-cluster目录下。

cp /opt/redis-5.0.5/src/redis-trib.rb /usr/local/redis-cluster

5.安装redis-trib.rb运行依赖的ruby的包

下载地址：https://rubygems.org/gems/redis/versions/4.1.0

安装redis gem

gem install /home/stephen/Downloads/redis-4.1.0.gem

6.启动所有的redis实例

启动所有redis

创建个一件启动脚本
在redis-cluster目录下
vim startall.sh

书写一下内容
cd ./redis01/bin
./redis-server redis.conf
cd ../..
cd ./redis02/bin
./redis-server redis.conf
cd ../..
cd ./redis03/bin
./redis-server redis.conf
cd ../..
cd ./redis04/bin
./redis-server redis.conf
cd ../..
cd ./redis05/bin
./redis-server redis.conf
cd ../..
cd ./redis06/bin
./redis-server redis.conf
cd ../..
保存退出

赋予可执行权限   chmod +x ./startall.sh

执行脚本  ./startall.sh

查看是否全部启动
ps aux|grep redis

7.使用redis-trib.rb创建集群

5.0版本的redis，创建集群命令都从./redis-trib.rb 迁移到redis-cli，可以使用redis-cli --cluster help来查看命令帮助

#在5.0后的版本中被redis-cli取代#./redis-trib.rb create --replicas 1 192.168.28.129:7001 192.168.28.129:7002 192.168.28.129:7003 192.168.28.129:7004 192.168.28.129:7005 192.168.28.129:7006