Redis -Cluster

数据打散处理的两种方式

哈希分区的方式

• 节点取余数分区hash（key） % 3

缺点： 如果进行节点的扩容的时候需要进行各个节点的转移

• 一致性hash 节点分布在顺时针轮盘上 ，hash（key）落到轮盘上顺时针寻找最近节点；

节点伸缩，只影响相邻节点
一般是翻倍伸缩

• 虚拟槽 （redis cluster 使用的节点分区方式）

两种安装方式

• 原生命令安装
• ruby一键安装

分布式集群架构

手动建立集群的步骤

• 设置单个节点的配置文件 开启集群模式，指定节点的集群配置文件
  
  
• 配置开启所有的redis

redis-server redis-700X.conf

• 各个节点之间完成meet集群发现彼此

redis-cli -p 7001 cluster meet 127.0.0.1 7002

• 进行主从配置

redis-cli -h 127.0.0.1 -p 7003 replicate ${node-id-7000}

• 手动为每个集群分配槽
  
• 循环的脚本文件

start=$1
end=$2
port=$3



for i in $(seq ${start} ${end})
do
echo $i;
redis-cli -p ${port} cluster addslots ${i}
done

• 执行脚本

sh addslots.sh 0 5461 7002

查看集群状况

redis-server -p 7001 cluster info

查看集群节点(彼此之间了解)信息

redis-cli -p 7001 cluster node

使用ruby安装redis集群

wget https://cache.ruby-lang.org/pub/ruby/2.3/ruby-2.3.1.tar.gz
tar xvf ruby-2.3.1.tar.gz
cd ruby-2.3.1
./configure -prefix=/usr/local/ruby
make
make install

• 或者利用yum or apt install ruby 一键搞定

wget http://rubygems.org/downloads/redis-3.3.0.gem
sudo gem install -l redis-3.3.0.gem
sudo gem list – check redis gem

redis-trib 对集群进行安装

• 配置开启redis

redis-server redis-8000.conf

• 一键开启配置各个节点的meet和主从关系以及slots的均分； 1代表每个节点只有一个副本前面的是主节点，后面的是从节点

./redis-trib.rb create --replicas 1 IP:port IP2:port IP3:port …

• 在这里杀掉所有开启的redis-server的服务
  

节点的扩展和收缩

集群模式下client的处理

• redis-cli -c -p 7000 集群模式链接

move error

迁移过程中的ask重定向问题

• smart客户端；
• 向集群中的一个节点获取信息；将cluster slots 的结果映射到本地， 为每个节点那创建jedispool

mset，mget必须是在一个槽内的实现；

• 依次单个获取
• 先分类，然后再串行或者并行io ；
  
• hash_tag
  如果执行的key数量比较少，就不用mget了，就用串行get操作。如果真的需要执行的key很多，就使用Hashtag保证这些key映射到同一台Redis节点上。简单来说语法如下

对于key为{foo}.student1、{foo}.student2，{foo}student3，这类key一定是在同一个redis节点上。因为key中“{}”之间的字符串就是当前key的hash tags， 只有key中{ }中的部分才被用来做hash，因此计算出来的redis节点一定是同一个!

• 方案总结
  

cluster 的故障转移

• cluster自身实现了故障转移的功能
  
  

cluster 运行过程中出现的问题

• pub /sub 订阅模式

你在一个节点进行了发布订阅，redis内部会进行一个消息的传递；这样会出现出现消耗带宽的问题

• 集群倾斜 请求倾斜和数据倾斜
  
• 内存配置不一致导致的数据偏移 --》定期检查配置一致性
• CRC 16 是相对均衡的hash

读写分离

• 只能单机上的数据迁移到集群，而且是离线的