NoSQL之Redis群集

Redis简介

单节点Redis服务器带来的问题
单点故障，服务不可用
无法处理大量的并发数据请求
数据丢失——大灾难

解决方法

搭建Redis集群

Redis集群介绍

Redis集群是一个提供在多个Redis间节点间共享数据的程序集
Redis集群并不支持处理多个keys的命令,因为这需要在不同的节点间移动数据,从而达不到像Redis那样的性能,在高负载的情况下可能会导致不可预料的错误
Redis集群通过分区来提供—定程度的可用性,在实际环境中当某个节点宕机或者不可达的情况下可继续处理命令

redis来源

redis是一个开源的key value存储系统，受到了广大互联网公司的青睐。redis3.0版本之前只支持单例模式，在3.0版本及以后才支持集群，我这里用的是redis3.0.0版本；
redis集群采用P2P模式，是完全去中心化的，不存在中心节点或者代理节点；
redis集群是没有统一的入口的，客户端（client）连接集群的时候连接集群中的任意节点（node）即可，集群内部的节点是相互通信的（PING-PONG机制），每个节点都是一个redis实例；
为了实现集群的高可用，即判断节点是否健康（能否正常使用），redis-cluster有这么一个投票容错机制：如果集群中超过半数的节点投票认为某个节点挂了，那么这个节点就挂了（fail）。这是判断节点是否挂了的方法；
那么如何判断集群是否挂了呢? 如果集群中任意一个节点挂了，而且该节点没有从节点（备份节点），那么这个集群就挂了。这是判断集群是否挂了的方法；
那么为什么任意一个节点挂了（没有从节点）这个集群就挂了呢？ 因为集群内置了16384个slot（哈希槽），并且把所有的物理节点映射到了这16384[0-16383]个slot上，或者说把这些slot均等的分配给了各个节点。当需要在Redis集群存放一个数据（key-value）时，redis会先对这个key进行crc16算法，然后得到一个结果。再把这个结果对16384进行求余，这个余数会对应[0-16383]其中一个槽，进而决定key-value存储到哪个节点中。所以一旦某个节点挂了，该节点对应的slot就无法使用，那么就会导致集群无法正常工作。
综上所述，每个Redis集群理论上最多可以有16384个节点

群集搭建案例

Redis集群的优势

自动分割数据到不同的节点上
整个集群的部分节点失败或者不可达的情况下能够继续处理命令
Redis集群的实现方法
有客户端分片
代理分片
服务器端分片

Redis-Cluster数据分片

Redis 集群没有使用一致性hash,而是引入了哈希槽概念
Redis 集群有16384个哈希槽
每个key通过CRC16校验后对16384取模来决定放置槽
集群的每个节点负责一部分哈希槽

以3个节点组成的集群为例
节点A包含0到5500号哈希槽
节点B包含5501到11000号哈希槽
节点C包含11001到16383号哈希槽
支持添加或者删除节点
添加删除节点无需停止服务
例如
如果想新添加个节点D,需要移动节点A，B，C中的部分槽到D上
如果想移除节点A，需要将A中的槽移到B和C节点上，再将没有任何槽的A
节点从集群中移除

Redis-Cluster的主从复制模型

集群中具有A，B，C三个节点,如果节点B失败了，整个集群就会因缺少5501-11000这个范围的槽而不可用
为每个节点添加一个从节点A1，B1，C1,整个集群便有三个master节点和三个slave节点组成，在节点B失败后，集群便会选举B1为新的主节点继续服务
当B和B1都失败后，集群将不可用

安装Redis

环境

在六个主机（至少六台主机，且是两两成对的）上都需要安装Redis，安装方法如下：
所有服务器上都需要安装，只在master1上演示,其他安装都一样

[root@master1 ~]# tar zxf redis-5.0.7.tar.gz
[root@master1 ~]# cd redis-5.0.7/
[root@master1 redis-5.0.7]# make -j2
[root@master1 redis-5.0.7]# make PREFIX=/usr/local/redis install
[root@master1 redis-5.0.7]# ln -s /usr/local/redis/bin/* /usr/local/bin/
[root@master1 redis-5.0.7]# cd utils/
[root@master1 utils]# ./install_server.sh
Welcome to the redis service installer
This script will help you easily set up a running redis server

Please select the redis port for this instance: [6379]
Selecting default: 6379
Please select the redis config file name [/etc/redis/6379.conf]
Selected default - /etc/redis/6379.conf
Please select the redis log file name [/var/log/redis_6379.log]
Selected default - /var/log/redis_6379.log
Please select the data directory for this instance [/var/lib/redis/6379]
Selected default - /var/lib/redis/6379
Please select the redis executable path [/usr/local/bin/redis-server]
Selected config:
Port           : 6379
Config file    : /etc/redis/6379.conf
Log file       : /var/log/redis_6379.log
Data dir       : /var/lib/redis/6379
Executable     : /usr/local/bin/redis-server
Cli Executable : /usr/local/bin/redis-cli
Is this ok? Then press ENTER to go on or Ctrl-C to abort.
Copied /tmp/6379.conf => /etc/init.d/redis_6379
Installing service...
Successfully added to chkconfig!
Successfully added to runlevels 345!
Starting Redis server...
Installation successful!

修改配置文件
所有服务器上都需要修改，只在master1上演示

[root@redis1 utils]# vim /etc/redis/6379.conf 
70 bind  20.0.0.10    #监听地址改为各服务器自己的IP，以master1为例
89 protected-mode no         ###关闭保护模式，关闭数据隔离的保护形势    
137 daemonize yes               ##开启守护进程，以独立进程运行
833 cluster-enabled yes           ###开启群集功能
841 cluster-config-file nodes-6379.conf  ###群集名称文件设置
847 cluster-node-timeout 15000     ###集群超时时间设置
700 appendonly yes    ###开启aof持久化

开启Redis服务
所有服务器上都需要开启，只在master1上演示

[root@redis1 utils]# cd /var/lib/redis/   
[root@redis1 redis]# ls
6379
[root@redis1 redis]# cd 6379/
[root@redis1 6379]# ls   ###开始的时候什么都没有
[root@redis1 6379]# /etc/init.d/redis_6379  restart  #重启服务
Stopping ...
Waiting for Redis to shutdown ...
Redis stopped
Starting Redis server...
[root@redis1 6379]# ls  ###这个文件夹里必须有aof文件和节点配置文件（开启cluster生成的）
appendonly.aof      dump.rdb      nodes-6379.conf
aof持久化文件         rdb快照文件     节点配置文件
[root@master1 utils]# netstat -anpt | grep 6379
7 tcp        0      0 20.0.0.10:6379          0.0.0.0:*               LISTEN      18943/redis-server  
8 tcp        0      0 20.0.0.10:16379         0.0.0.0:*               LISTEN      18943/redis-server  

在master1上使用脚本创建集群
gem是ruby写的软件包。rubygems是用来打包、下载、安装、使用gem软件包的工具。要搭建集群的话，需要使用一个工具（脚本文件）（redis-3.2.0.gem文档桌面上，需要放入root目录下），这个工具在redis解压文件的源代码里。因为这个工具是一个ruby脚本文件，所以这个工具的运行需要ruby的运行环境，就相当于java语言的运行需要在jvm上。所以需要安装ruby。

安装组件ruby，和gem

[root@redis1 ~]# yum -y install ruby rubygems
[root@redis1 ~]# gem install redis-3.2.0.gem
Successfully installed redis-3.2.0
Parsing documentation for redis-3.2.0
Installing ri documentation for redis-3.2.0
1 gem installed

创建群集（其他5台设备需要关闭防火墙和核心防护）

[root@master1 ~]# cd redis-5.0.7/src/
[root@redis1 src]# redis-cli --cluster create --cluster-replicas 1 20.0.0.10:6379 20.0.0.11:6379 20.0.0.12:6379 20.0.0.13:6379 20.0.0.14:6379 20.0.0.15:6379

>>> Performing hash slots allocation on 6 nodes...
Master[0] -> Slots 0 - 5460  
Master[1] -> Slots 5461 - 10922
Master[2] -> Slots 10923 - 16383     //三个节点分配的哈希槽
Adding replica 20.0.0.14:6379 to 20.0.0.10:6379   
Adding replica 20.0.0.15:6379 to 20.0.0.11:6379
Adding replica 20.0.0.13:6379 to 20.0.0.12:6379    //交代了主从redis
M: 77d9cf72b6e2f7efc023d85a3228ff4441f6a17e 20.0.0.10:6379
   slots:[0-5460] (5461 slots) master
M: 99d65f220eb435bf2c1a101fc84aad77bf825ce9 20.0.0.11:6379
   slots:[5461-10922] (5462 slots) master
M: 98835d9943f747e1696fb7c056f305443d87e503 20.0.0.12:6379
   slots:[10923-16383] (5461 slots) master
S: 717d7d46ca91aa3246cc3b8ae24035f2bf1eccba 20.0.0.13:6379
   replicates 98835d9943f747e1696fb7c056f305443d87e503
S: eb4837ea1d8a1974c81c5cbe82b1d393ee061de2 20.0.0.14:6379
   replicates 77d9cf72b6e2f7efc023d85a3228ff4441f6a17e
S: d1486cda023e52ff5313edd159e2a6e180cf7629 20.0.0.15:6379
   replicates 99d65f220eb435bf2c1a101fc84aad77bf825ce9
Can I set the above configuration? (type 'yes' to accept): yes  //交互输入yes  

确认后        以下为三个节点之间的关系
>>> Nodes configuration updated
>>> Assign a different config epoch to each node
>>> Sending CLUSTER MEET messages to join the cluster
Waiting for the cluster to join
......
>>> Performing Cluster Check (using node 20.0.0.10:6379)
M: 77d9cf72b6e2f7efc023d85a3228ff4441f6a17e 20.0.0.10:6379
   slots:[0-5460] (5461 slots) master
   1 additional replica(s)
S: 717d7d46ca91aa3246cc3b8ae24035f2bf1eccba 20.0.0.13:6379
   slots: (0 slots) slave
   replicates 98835d9943f747e1696fb7c056f305443d87e503
M: 99d65f220eb435bf2c1a101fc84aad77bf825ce9 20.0.0.11:6379
   slots:[5461-10922] (5462 slots) master
   1 additional replica(s)
S: eb4837ea1d8a1974c81c5cbe82b1d393ee061de2 20.0.0.14:6379
   slots: (0 slots) slave
   replicates 77d9cf72b6e2f7efc023d85a3228ff4441f6a17e
S: d1486cda023e52ff5313edd159e2a6e180cf7629 20.0.0.15:6379
   slots: (0 slots) slave
   replicates 99d65f220eb435bf2c1a101fc84aad77bf825ce9
M: 98835d9943f747e1696fb7c056f305443d87e503 20.0.0.12:6379
   slots:[10923-16383] (5461 slots) master
   1 additional replica(s)
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.

验证群集
以群集模式登陆redis（-c）

[root@redis1 ~]# redis-cli -h 20.0.0.10 -p 6379 -c

查看群集状态

20.0.0.10> cluster info

20.0.0.10:6379> cluster info
cluster_state:ok
cluster_slots_assigned:16384
cluster_slots_ok:16384
cluster_slots_pfail:0
cluster_slots_fail:0
cluster_known_nodes:6   //6个节点
cluster_size:3      //三个数据片
cluster_current_epoch:6
cluster_my_epoch:1
cluster_stats_messages_ping_sent:205
cluster_stats_messages_pong_sent:226
cluster_stats_messages_sent:431
cluster_stats_messages_ping_received:221
cluster_stats_messages_pong_received:205
cluster_stats_messages_meet_received:5
cluster_stats_messages_received:431

查看节点状态

20.0.0.10:6379> cluster nodes
717d7d46ca91aa3246cc3b8ae24035f2bf1eccba 20.0.0.13:6379@16379 slave 98835d9943f747e1696fb7c056f305443d87e503 0 1605953638000 4 connected
99d65f220eb435bf2c1a101fc84aad77bf825ce9 20.0.0.11:6379@16379 master - 0 1605953636931 2 connected 5461-10922
eb4837ea1d8a1974c81c5cbe82b1d393ee061de2 20.0.0.14:6379@16379 slave 77d9cf72b6e2f7efc023d85a3228ff4441f6a17e 0 1605953635921 5 connected
d1486cda023e52ff5313edd159e2a6e180cf7629 20.0.0.15:6379@16379 slave 99d65f220eb435bf2c1a101fc84aad77bf825ce9 0 1605953639949 6 connected
77d9cf72b6e2f7efc023d85a3228ff4441f6a17e 20.0.0.10:6379@16379 myself,master - 0 1605953636000 1 connected 0-5460
98835d9943f747e1696fb7c056f305443d87e503 20.0.0.12:6379@16379 master - 0 1605953638941 3 connected 10923-16383

在master1上存储一个键值，可在其他节点查看
mater1上

[root@server1 src]# redis-cli -h 20.0.0.10 -p 6379 -c
20.0.0.10:6379> set centos 7.1
OK
20.0.0.10:6379> quit

其他节点

 [root@master1 src]# redis-cli -h 20.0.0.12 -p 6379 -c
 20.0.0.12:6379> get centos
-> Redirected to slot [467] located at 20.0.0.10:6379
 "7.6"
 20.0.0.10:6379> quit
 [root@master1 src]# redis-cli -h 20.0.0.14 -p 6379 -c
20.0.0.14:6379> get centos
 -> Redirected to slot [467] located at 20.0.0.10:6379
 "7.1"