1. Redis Cluster的架构图。
(1)所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽.
(2)节点的fail是通过集群中超过半数的节点检测失效时才生效.
(3)客户端与redis节点直连,不需要中间proxy层.客户端不需要连接集群所有节点,连接集群中任何一个可用节点即可。
(4)redis-cluster把所有的物理节点映射到[0-16383]slot上(哈希槽),cluster 负责维护
Redis 集群中内置了 16384 个哈希槽,当需要在Redis 集群中放置一个 key-value 时,redis 先对 key 使用 crc16 算法算出一个结果,然后把结果对 16384 求余数,这样每个 key 都会对应一个编号在 0-16383 之间的哈希槽,redis 会根据节点数量大致均等的将哈希槽映射到不同的节点。
2. redis-cluster投票:容错
(1)领着投票过程是集群中所有master参与,如果半数以上master节点与其中一个master节点通信超时(cluster-node-timeout),认为当前master节点挂掉.
(2):什么时候整个集群不可用(cluster_state:fail)?
a:如果集群任意master挂掉,且当前master没有slave.集群进入fail状态,也可以理解成集群的slot映射[0-16383]不完成时进入fail状态. ps : redis-3.0.0.rc1加入cluster-require-full-coverage参数,默认关闭,打开集群兼容部分失败.
b:如果集群超过半数以上master挂掉,无论是否有slave集群进入fail状态.
ps:当集群不可用时,所有对集群的操作做都不可用,收到((error)CLUSTERDOWN The cluster is down)错误。
3. 安装环境
Redis Cluster的安装需要的环境我们需要准备好,最重要的最难解决的就是ruby环境,在这里,给大家一个连接,如至直接安装ruby,安装不上的话,大家可以参考这篇文章RubyGems镜像,淘宝的ruby镜像。他是没15分钟更新一次,所以跟国外的基本一样。此处必须要是ruby2.2以上的版本,不然安装是会报错,如果嫌麻烦可以选择源码安装。
redis集群管理工具redis-trib.rb依赖ruby环境,首先需要安装ruby环境:
(大部分yum安装的都是2.0的版本,不能满足需求,可以自己配置ruby 的yum源,下载更高版本)
安装ruby
yum install ruby
yum install rubygems
安装ruby和redis的接口程序
gem install redis
源码安装:
wget https://cache.ruby-lang.org/pub/ruby/2.4/ruby-2.4.4.tar.gz
tar zxvf ruby-2.4.4.tar.gz
./configure
make && make install
配置环境变量
vi /etc/profile
export RUBY_PATH=/opt/ruby (以自己实际路径为准)
export PATH=$RUBY_PATH:$PATH
查看ruby版本
ruby -v
4. 集群搭建
本次为实验教程,所以在一台虚拟机中进行搭建,跟在多台真机上搭建其实没有什么区别,只要保证网络通信ok就可以了!
我们在几台机器上通过端口号的不同,搭建一个伪集群。在一个服务器上创建多个redis实例。端口号如下所示
主节点:127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003
从节点:127.0.0.1:7004 127.0.0.1:7005 127.0.0.1:7006
在/usr/local下创建redis-cluster目录,其下创建redis01、redis02。。redis06目录,如下:
安装redis
wget http://download.redis.io/releases/redis-3.2.1.tar.gz tar -zxvf /redis-3.2.1.tar.gz
cd redis-3.2.1
make && make install
然后我们将redis 安装到redis01中,安装完以后我们在将Redis编译目录中的redis。Conf文件复制到redis01目录下,就会看到在redis01目录下会有如下的文件。
然后我们将redis01文件夹的文件分别复制到redis02……redis06文件夹中。同时将redis源码目录src下的redis-trib.rb拷贝到redis-cluster目录下。
修改每个文件夹下的配置文件,有三点需要修改,每个配置文件都要配置自己的端口号,不能重复。
准备好以上工作以后,我们分别启动每个redis进行的实例。如果麻烦的话,可以自己写一个执行脚本。启动完毕以后我们输入命令ps ax|grep redis ,查看实例是否启动,出现如下所以图片,表示所有的实例都启动了。
实例启动完以后,我们要开始创建集群,在redis-cluter文件夹下执行如下命令。
cp redis-3.2.1/src/redis-trib.rb .
./redis-trib.rb create --replicas 1 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005 127.0.0.1:7006
>>> Creating cluster
>>> Performing hash slots allocation on 6 nodes...
Using 3 masters:
127.0.0.1:7001
127.0.0.1:7002
127.0.0.1:7003
Adding replica 127.0.0.1:7004 to 127.0.0.1:7001
Adding replica 127.0.0.1:7005 to 127.0.0.1:7002
Adding replica 127.0.0.1:7006 to 127.0.0.1:7003
M: 40c2d186ff802a10e7a0cabd2dda7df09f077e8b 127.0.0.1:7001
slots:0-5460 (5461 slots) master
M: 06f0b73fc9113fda93257635cfee242c04392445 127.0.0.1:7002
slots:5461-10922 (5462 slots) master
M: 93408b4dfd7deb4444cdc1265ea3c7c75f11914b 127.0.0.1:7003
slots:10923-16383 (5461 slots) master
S: 009cf5bf4d4cbf704e78dffd1e3924b1bb90dca3 127.0.0.1:7004
replicates 40c2d186ff802a10e7a0cabd2dda7df09f077e8b
S: 6ca8bf82b48fd38f80fda2dbb006c61cfa3373cd 127.0.0.1:7005
replicates 06f0b73fc9113fda93257635cfee242c04392445
S: 42487395d3d94bd58c158670c141cb454564bb51 127.0.0.1:7006
replicates 93408b4dfd7deb4444cdc1265ea3c7c75f11914b
Can I set the above configuration? (type 'yes' to accept): yes
>>> Nodes configuration updated
>>> Assign a different config epoch to each node
>>> Sending CLUSTER MEET messages to join the cluster
Waiting for the cluster to join.....
>>> Performing Cluster Check (using node 127.0.0.1:7001)
M: 40c2d186ff802a10e7a0cabd2dda7df09f077e8b 127.0.0.1:7001
slots:0-5460 (5461 slots) master
M: 06f0b73fc9113fda93257635cfee242c04392445 127.0.0.1:7002
slots:5461-10922 (5462 slots) master
M: 93408b4dfd7deb4444cdc1265ea3c7c75f11914b 127.0.0.1:7003
slots:10923-16383 (5461 slots) master
M: 009cf5bf4d4cbf704e78dffd1e3924b1bb90dca3 127.0.0.1:7004
slots: (0 slots) master
replicates 40c2d186ff802a10e7a0cabd2dda7df09f077e8b
M: 6ca8bf82b48fd38f80fda2dbb006c61cfa3373cd 127.0.0.1:7005
slots: (0 slots) master
replicates 06f0b73fc9113fda93257635cfee242c04392445
M: 42487395d3d94bd58c158670c141cb454564bb51 127.0.0.1:7006
slots: (0 slots) master
replicates 93408b4dfd7deb4444cdc1265ea3c7c75f11914b
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.
这样就表示我们的集群创建成功了!
5. 集群测试
我们输入redis01/redis-cli -h 127.0.0.1 -p 7002–c命令后,切忌要加入-c,否则我们进入的不是集群环境。进入客户端以后,我们输入set a 100 发现他会进行跳转,这就是因为他经过计算以后,要存储100的hash槽在7003 实例上。这样就表示我们的集群成功了!
关闭redis集群不能直接kill掉进程,或者关机,我们要通过命令redis01/redis-cli -p 7001 shutdown进行关闭,这样在关闭之前,数据才能够进行保存。
附:批量开启脚本:
./redis-server ./redis01/redis.conf
./redis-server ./redis02/redis.conf
./redis-server ./redis03/redis.conf
./redis-server ./redis04/redis.conf
./redis-server ./redis05/redis.conf
./redis-server ./redis06/redis.conf
批量停止脚本:
./redis-cli -h 127.0.0.1 -p 7001 shutdown
./redis-cli -h 127.0.0.1 -p 7002 shutdown
./redis-cli -h 127.0.0.1 -p 7003 shutdown
./redis-cli -h 127.0.0.1 -p 7004 shutdown
./redis-cli -h 127.0.0.1 -p 7005 shutdown
./redis-cli -h 127.0.0.1 -p 7006 shutdown