Redis集群介绍

最新推荐文章于 2024-08-15 18:52:07 发布

wangshuang1631

最新推荐文章于 2024-08-15 18:52:07 发布

阅读量1.7k

点赞数 1

分类专栏： Redis 文章标签： redis 集群管理架构

本文链接：https://blog.csdn.net/wangshuang1631/article/details/53856745

版权

Redis 专栏收录该内容

7 篇文章 0 订阅

订阅专栏

1、redis cluster的现状

目前redis支持的cluster特性如下：

节点自动发现
slave->master 选举,集群容错
Hot resharding:在线分片
进群管理:cluster xxx
基于配置(nodes-port.conf)的集群管理
ASK 转向/MOVED 转向机制.

2、redis cluster 架构

架构细节:
1. 所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽.
2. 节点的fail是通过集群中超过半数的节点检测失效时才生效.
3. 客户端与redis节点直连,不需要中间proxy层.客户端不需要连接集群所有节点,连接集群中任何一个可用节点即可
4. redis-cluster把所有的物理节点映射到[0-16383]slot上,cluster
负责维护node<->slot<->value

redis-cluster选举，容错：
1. 领着选举过程是集群中所有master参与,如果半数以上master节点与master节点通信超过(cluster-node-timeout),认为当前master节点挂掉.
2. 什么时候整个集群不可用(cluster_state:fail),当集群不可用时,所有对集群的操作做都不可用，收到((error) CLUSTERDOWN The cluster is down)错误
3. 如果集群任意master挂掉,且当前master没有slave.集群进入fail状态,也可以理解成进群的slot映射[0-16383]不完成时进入fail状态.
4. 如果进群超过半数以上master挂掉，无论是否有slave集群进入fail状态.

3、安装redis cluster

1):安装redis-cluster依赖:redis-cluster的依赖库在使用时有兼容问题,在reshard时会遇到各种错误,请按指定版本安装.
(1)确保系统安装zlib,否则gem install会报(no such file to load – zlib)
检查方法： yum list | grep zlib 云主机一般默认都有安装的
Yum安装方法： yum install zlib
源码安装方法如下：

./configure  prefix=/opt/zlib
make  
make install

(2)安装ruby:version(2.3.2)

# ruby2.3.1
tar -xvf ruby-2.3.1.tar.gz   
cd /wls/ruby-2.3.1
#请确保已经安装gcc,安装方法 yum install gcc
./configure -prefix=/usr/local/ruby  
make  
make install  
sudo cp ruby /usr/local/bin  
#检查安装是否成功
ruby --version

(3)安装ruby-zlib (2.3.1)

cd /wls/ruby-2.3.1/ext/zlib
ruby ./extconf.rb –with-zlib-dir=/opt/zlib
make
make install

(4)安装rubygem:version(2.6.6)

# rubygems-2.6.6.tgz  
tar zxvf rubygems-2.6.6.tgz
cd /wls/rubygems-2.6.6
ruby setup.rb  
cp bin/gem /usr/local/bin  
#检查安装是否成功
gem --version

(5)安装gem-redis:version(3.2.1)

gem install redis --version 3.2.1  
#由于源的原因，可能下载失败，就手动下载下来安装  
#download地址:http://rubygems.org/gems/redis/versions/3.0.0  
unzip redis-3.2.1-gems.zip
gem install -l /data/soft/redis-3.2.1.gem

(6)安装redis-cluster

tar xvf /wls/redis-3.2.1.tar.gz 
cd /wls/redis-3.2.1
make  
make install
sudo cp /opt/redis/src/redis-server /usr/local/bin  
sudo cp /opt/redis/src/redis-cli /usr/local/bin  
sudo cp /opt/redis/src/redis-trib.rb /usr/local/bin

4、配置redis cluster

配置选项-----------值----------描述
daemonize----------yes
logfile----------"/wls/redis-cluser/logs/redis-7001.log"
databases---------1
dir----------/wls/redis-cluster/data/7001----------用来存放数据的地方
cluster-enabled----------yes
cluster-config-file----------/wls/redis-cluster/7001/nodes.conf
cluster-node-timeout----------15000
cluster-migration-barrier----------1
cluster-require-full-coverage----------yes----------只要集群中有一对Master-Slave不可用时，整个集群不可用

5、cluster 操作

集群  
CLUSTER INFO 打印集群的信息  
CLUSTER NODES 列出集群当前已知的所有节点（node），以及这些节点的相关信息。  
节点  
CLUSTER MEET <ip> <port> 将 ip 和 port 所指定的节点添加到集群当中，让它成为集群的一份子。  
CLUSTER FORGET <node_id> 从集群中移除 node_id 指定的节点。  
CLUSTER REPLICATE <node_id> 将当前节点设置为 node_id 指定的节点的从节点。  
CLUSTER SAVECONFIG 将节点的配置文件保存到硬盘里面。  
槽(slot)  
CLUSTER ADDSLOTS <slot> [slot ...] 将一个或多个槽（slot）指派（assign）给当前节点。  
CLUSTER DELSLOTS <slot> [slot ...] 移除一个或多个槽对当前节点的指派。  
CLUSTER FLUSHSLOTS 移除指派给当前节点的所有槽，让当前节点变成一个没有指派任何槽的节点。  
CLUSTER SETSLOT <slot> NODE <node_id> 将槽 slot 指派给 node_id 指定的节点，如果槽已经指派给另一个节点，那么先让另一个节点删除该槽>，然后再进行指派。  
CLUSTER SETSLOT <slot> MIGRATING <node_id> 将本节点的槽 slot 迁移到 node_id 指定的节点中。  
CLUSTER SETSLOT <slot> IMPORTING <node_id> 从 node_id 指定的节点中导入槽 slot 到本节点。  
CLUSTER SETSLOT <slot> STABLE 取消对槽 slot 的导入（import）或者迁移（migrate）。  
键  
CLUSTER KEYSLOT <key> 计算键 key 应该被放置在哪个槽上。  
CLUSTER COUNTKEYSINSLOT <slot> 返回槽 slot 目前包含的键值对数量。  
CLUSTER GETKEYSINSLOT <slot> <count> 返回 count 个 slot 槽中的键。

6、redis cluster 运维操作

初始化并构建集群
(1)#启动集群相关节点（必须是空节点）,指定配置文件和输出日志

redis-server /wls/redis-cluster/7001/redis.conf > /wls/redis-cluster/logs/redis-7001.log 2>&1 &  
redis-server /wls/redis-cluster/7002/redis.conf > /wls/redis-cluster/logs/redis-7002.log 2>&1 &  
redis-server /wls/redis-cluster/7003/redis.conf > /wls/redis-cluster/logs/redis-7003.log 2>&1 &  
redis-server /wls/redis-cluster/7004/redis.conf > /wls/redis-cluster/logs/redis-7004.log 2>&1 &  
redis-server /wls/redis-cluster/7005/redis.conf > /wls/redis-cluster/logs/redis-7005.log 2>&1 &  
redis-server /wls/redis-cluster/7006/redis.conf > /wls/redis-cluster/logs/redis-7006.log 2>&1 &

(2):使用自带的ruby工具(redis-trib.rb)构建集群

#redis-trib.rb的create子命令构建  
#--replicas 则指定了为Redis Cluster中的每个Master节点配备几个Slave节点  
#节点角色由顺序决定,先master之后是slave(为方便辨认,slave的端口比master大1000,IP在此处不能指定为127.0.0.1，应该为真实IP)  
redis-trib.rb create --replicas 1 10.20.16.182:7001 10.20.16.182:7002 10.20.16.182:7003 10.20.16.182:7004 10.20.16.182:7005 10.20.16.182:7006

(3):检查集群状态

#redis-trib.rb的check子命令构建  
#ip:port可以是集群的任意节点  
redis-trib.rb check 127.0.0.1:7001

最后输出如下信息,没有任何警告或错误，表示集群启动成功并处于ok状态

[OK] All nodes agree about slots configuration.  
>>> Check for open slots...  
>>> Check slots coverage...  
[OK] All 16384 slots covered.

添加新master节点
(1)添加一个master节点:创建一个空节点（empty node），然后将某些slot移动到这个空节点上,这个过程目前需要人工干预
a):copy已有配置文件，修改相应端口

cp -r /wls/redis-cluster/7006 /wls/redis-cluster/7007  
mkdir /wls/rdis-cluster/data/7007

b):启动节点

redis-server /wls/redis-cluster/7007/redis.conf > /wls/redis-cluster/logs/redis-7007.log 2>&1 &

c):加入空节点到集群
add-node 将一个节点添加到集群里面，第一个是新节点ip:port, 第二个是任意一个已存在节点ip:port

redis-trib.rb add-node 127.0.0.1:7007 127.0.0.1:7001  
#获取node id
redis-trib.rb check 127.0.0.1:7001

node:新节点没有包含任何数据，因为它没有包含任何slot。新加入的加点是一个主节点，当集群需要将某个从节点升级为新的主节点时，这个新节点不会被选中
d):为新节点分配slot

redis-trib.rb reshard 127.0.0.1:7007  
#根据提示选择要迁移的slot数量(ps:这里选择500)  
How many slots do you want to move (from 1 to 16384)? 500  
#选择要接受这些slot的node-id  
What is the receiving node ID? f51e26b5d5ff74f85341f06f28f125b7254e61bf  
#选择slot来源:  
#all表示从所有的master重新分配，  
#或者数据要提取slot的master节点id,最后用done结束  
Please enter all the source node IDs.  
Type 'all' to use all the nodes as source nodes for the hash slots.  
Type 'done' once you entered all the source nodes IDs.  
Source node #1:all  
#打印被移动的slot后，输入yes开始移动slot以及对应的数据.  
#Do you want to proceed with the proposed reshard plan (yes/no)? yes  
#结束

添加新的slave节点
a):前三步操作同添加master一样
b)第四步:redis-cli连接上新节点shell,输入命令:cluster replicate 对应master的node-id

redis-cli –p 7008
127.0.0.1:7008> cluster replicate f9c0d8d4b48ee51c7003267f648c86f3a9c1bd7c  
127.0.0.1:7008> quit
redis-trib.rb check 127.0.0.1:7001

note:在线添加slave 时，需要dump整个master进程，并传递到slave，再由 slave加载rdb文件到内存，rdb传输过程中Master可能无法提供服务,整个过程消耗大量io,小心操作.
例如本次添加slave操作产生的rdb文件

-rw-r--r-- 1 root root  34946 Apr 17 18:23 dump-7007.rdb  
-rw-r--r-- 1 root root  34946 Apr 17 18:23 dump-7008.rdb

c):在线reshard 数据:
对于负载/数据均匀的情况，可以在线reshard slot来解决,方法与添加新master的reshard一样，只是需要reshard的master节点是老节点。

删除一个slave节点

#redis-trib del-node ip:port '<node-id>'  
redis-trib.rb del-node 127.0.0.1:7008 'c7ee2fca17cb79fe3c9822ced1d4f6c5e169e378'

删除一个master节点
a):删除master节点之前首先要使用reshard移除master的全部slot,然后再删除当前节点(目前只能把被删除master的slot迁移到一个节点上)

#把127.0.0.1:7007当前master迁移到127.0.0.1:7001上  
redis-trib.rb reshard 127.0.0.1:7007  
#根据提示选择要迁移的slot数量(ps:这里选择500)  
How many slots do you want to move (from 1 to 16384)? 500(被删除master的所有slot数量)  
#选择要接受这些slot的node-id(127.0.0.1:7001)  
What is the receiving node ID? c4a31c852f81686f6ed8bcd6d1b13accdc947fd2 (ps:1127.0.0.1:7001的node-id)  
Please enter all the source node IDs.  
Type 'all' to use all the nodes as source nodes for the hash slots.  
Type 'done' once you entered all the source nodes IDs.  
Source node #1:f51e26b5d5ff74f85341f06f28f125b7254e61bf(被删除master的node-id)  
Source node #2:done  
#打印被移动的slot后，输入yes开始移动slot以及对应的数据.  
#Do you want to proceed with the proposed reshard plan (yes/no)? yes

b):删除空master节点

redis-trib.rb del-node 127.0.0.1:7001 'f51e26b5d5ff74f85341f06f28f125b7254e61bf'

7、redis cluster 客户端

Jedis客户端基本操作使用：

public class Test {
private static BinaryJedisCluster jc;

public static void main(String[] args){
    //只给集群里一个实例就可以 
     Set<HostAndPort> jedisClusterNodes = new HashSet<HostAndPort>(); 
     jedisClusterNodes.add(new HostAndPort("10.20.16.182", 7001));
     jedisClusterNodes.add(new HostAndPort("10.20.16.182", 7002)); 
     jedisClusterNodes.add(new HostAndPort("10.20.16.182", 7003)); 
     jedisClusterNodes.add(new HostAndPort("10.20.16.182", 7004)); 
     jedisClusterNodes.add(new HostAndPort("10.20.16.182", 7005)); 
     jedisClusterNodes.add(new HostAndPort("10.20.16.182", 7006)); 
     jc = new BinaryJedisCluster(jedisClusterNodes); 

     for (int i = 0; i < 1000; i++) { 
         String key = "key:" + i; 
         System.out.println(key);
         byte[] bytes1 = "String hello redis cluster".getBytes();
         jc.setex(key.getBytes(), 60 * 60, bytes1); 
     } 
  }

8、问题与解决

Too many cluster redirections redis

启动redis cluster使用的命令为：

./redis-trib.rb create --replicas 1 127.0.0.1:7000 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005

然后在eclipse上集成了springmvc和redisc cluster，配置文件中配置的ip为虚拟机实际IP:192.168.23.129，结果启动时总是报：Too many cluster redirections?
最后debug发现cluster中nodes中，既包含了127.0.0.1的节点，又包含192.168.23.129的节点。所以猜测程序启动时会将服务器上实际存在的节点和配置的节点都加载到内存中，然后程序使用的192.168.23.129：端口，去访问节点，而服务器上并没有该节点。之后就将虚拟机上的cluster节点全部删除，重新创建节点，创建时使用实际ip192.168.23.129，即：

./redis-trib.rb create --replicas 1 192.168.23.129:7000 192.168.23.129:7001 192.168.23.129:7002 192.168.23.129:7003 192.168.23.129:7004 192.168.23.129:7005

再次启动程序，可以正常启动，并从redis中存入和读取数据