redis集群搭建

Redis集群简介

Redis Cluster是一个无中心的结构，每个节点都保存数据和整个群集的状态。每个节点都会保存其他节点的信息，知道其他节点所负责的槽，并且会与其他节点定时发送心跳信息，能够及时感知群集中异常的节点。
Redis没有统一的路口，当客户端向群集中任一节点发送与数据库键有关的命令时，接受命令的节点会计算出命令要处理的数据库键属于哪个槽，并检查这个槽是否指派给了自己。如果键所在的槽正好指派给了当前节点，那么节点直接执行这个命令；如果键所在的槽并没有指派给当前节点，那么节点会向客户端返回一个MOVED错误，指引客户端转向（redirect）正确的节点，并再次发送之前想要执行的命令。

Redis集群概述

Redis集群介绍

1、Redis集群是一个提供在多个Redis间节点间共享数据的程序集
2、Redis集群并不支持处理多个keys的命令，因为这需要在不同的节点间移动数据，从而达不到像Redis那样的性能，在高负载的情况下可能会导致不可预料的错误
3、Redis集群通过分区来提供一定程度的可用性，在实际环境中当某个节点宕机或者不可达的情况下可继续处理命令

Redis集群的优势

1、自动分割数据到不同的节点上
2、整个集群的部分节点失败或者不可达的情况下能够继续处理命令

Redis集群的实现方法

List item

1、有客户端分片
2、代理分片
3、服务器端分片

Redis-Cluster数据分片

• Redis集群没有使用一致性hash，而是引入了哈希槽概念
• Redis集群有16384个哈希槽
• 每个key通过CRC16校验后对16384取余来决定放置槽
• 集群的每个节点负责一部分哈希槽
  Redis 集群中内置了 16384 个哈希槽，当需要在 Redis 集群中放置一个 key-value 时，redis 先对 key
  使用 crc16 算法算出一个结果，然后把结果对 16384 求余数， 这样每个 key 都会对应一个编号在 0-16383
  之间的哈希槽，redis 会根据节点数量大 致均等的将哈希槽映射到不同的节点。
• 数据分片 以3个节点组成的集群为例 节点A包含0到5500号哈希槽 节点B包含5501到11000号哈希槽
  节点C包含11001到16384号哈希槽 支持添加或者删除节点 添加/删除节点无需停止服务（支持热状态）
  例如：
  如果想新添加个节点D，需要移动节点A,B,C中的部分槽到D上
  如果想移除节点A，需要将A中的槽移到B和C节点上，再将没有任何槽的A节点从集群中移除

Redis-Cluster的主从复制模型

• 集群中具有A,B,C三个节点，如果节点B失败了，整个集群就会因缺少5501-11000这个范围的槽而不可用
• 为每个节点添加一个从节点A1,B1,C1，整个集群便有三个master节点和三个slave节点组成，在节点B失败后，集群便会选举B1为新的主节点继续服务
• 当B和B1都失败后，集群将不可用

搭建redis集群

以下内容每台设备都要配置

redis下载

wget https://download.redis.io/releases/redis-5.0.7.tar.gz #可更改版本

安装部署redis

安装编译环境
[root@server1 ~]# yum -y install gcc gcc-c++ make

[root@server1 ~]# tar zxvf redis-5.0.7.tar.gz 

[root@server1 ~]# cd redis-5.0.7/
[root@server1 redis-5.0.7]# make #因分装化，直接安装
[root@server1 redis-5.0.7]# make PREFIX=/usr/local/redis install #指定命令文件存放位置并安装

[root@server1 redis-5.0.7]# cd /usr/local/redis/
[root@server1 redis]# ls
bin
[root@server1 redis]# cd bin/
[root@server1 bin]# ls
redis-benchmark  redis-check-rdb  redis-sentinel
redis-check-aof  redis-cli #连接终端        redis-server

[root@server1 redis-5.0.7]# cd utils/ #进入redis工具包
[root@server1 utils]# ls
build-static-symbols.tcl  hashtable          redis_init_script.tpl
cluster_fail_time.tcl     hyperloglog        redis-sha1.rb
corrupt_rdb.c             install_server.sh #配置一些文件的存放路径 releasetools
create-cluster            lru                speed-regression.tcl
generate-command-help.rb  redis-copy.rb      whatisdoing.sh
graphs                    redis_init_script

[root@server1 utils]# ./install_server.sh #直接执行
Welcome to the redis service installer
This script will help you easily set up a running redis server

Please select the redis port for this instance: [6379]  #默认端口6379，回车
Selecting default: 6379
Please select the redis config file name [/etc/redis
/6379.conf] #默认配置文件路径，回车
Selected default - /etc/redis/6379.conf
Please select the redis log file name [/var/log/redis_6379.log] #默认日志文件路径，回车
Selected default - /var/log/redis_6379.log
Please select the data directory for this instance [/var/lib/redis/6379] #实例数据存放位置，回车
 Selected default - /var/lib/redis/6379
Please select the redis executable path [] /usr/local/redis/bin/redis-server
 #拓展文件路径，需要自己写，默认提供路径为/usr/local/bin/redis-server,更改为/usr/local/redis/bin/redis-server
Selected config:
Port           : 6379
Config file    : /etc/redis/6379.conf
Log file       : /var/log/redis_6379.log
Data dir       : /var/lib/redis/6379
Executable     : /usr/local/redis/bin/redis-server
Cli Executable : /usr/local/redis/bin/redis-cli
Is this ok? Then press ENTER to go on or Ctrl-C to abort. #回车
Copied /tmp/6379.conf => /etc/init.d/redis_6379
Installing service...
Successfully added to chkconfig!
Successfully added to runlevels 345!
Starting Redis server...
Installation successful!

[root@server1 utils]# cd /etc/redis/ #查看配置文件
[root@server1 redis]# ls
6379.conf

[root@server1 redis]# ln -s /usr/local/redis/bin/\* /usr/local/bin/ #\*更改为*，将redis命令软链接到系统命令下，便于执行

[root@server1 redis]# netstat -anpt | grep 6379 #查看状态，已启用
tcp        0      0 127.0.0.1:6379          0.0.0.0:*               LISTEN      12450/redis-server  
[root@server1 redis]# /etc/init.d/redis_6379 stop #关闭
Stopping ...
Waiting for Redis to shutdown ...
Redis stopped
[root@server1 redis]# netstat -anpt | grep 6379 #变为WAIT状态
tcp        0      0 127.0.0.1:6379          127.0.0.1:50758         TIME_WAIT   -    

[root@server1 redis]# /etc/init.d/redis_6379 restart #重启redis
Stopping ...
Waiting for Redis to shutdown ...
Redis stopped
Starting Redis server...

redis集群配置

[root@server1 ~]# vi /etc/redis/6379.conf 
70	#bind 127.0.0.1 #注释掉bind，bind默认监听所有网卡
89 	protected-mode no #关闭保护模式
93	port 6379 #端口，默认不更改
137	daemonize yes #以独立进程启动
833	cluster-enabled yes #开启群集功能
841	cluster-config-file nodes-6379.conf #群集名称文件设置
847	cluster-node-timeout 15000 #群集超时时间设置
700	appendonly yes #开启AOF持久化

[root@server1 ~]# /etc/init.d/redis_6379 start #启动redis
Starting Redis server...
###正常启动后，/var/lib/redis/6379/目录下会多出两个文件
[root@server1 ~]# cd /var/lib/redis/6379/
[root@server1 6379]# ls
appendonly.aof  dump.rdb  nodes.conf
appendonly.aof为持久化文件，nodes-6379.conf为节点首次启动生成的配置文件，dump.rdb为快照文件

以下配置在在一台master中操作

生成集群

导入redis-3.2.0.gem至root目录下并执行
[root@server1 ~]# yum -y install ruby rubygems
[root@server1 ~]# gem install redis-3.2.0.gem
Successfully installed redis-3.2.0
Parsing documentation for redis-3.2.0
Installing ri documentation for redis-3.2.0
1 gem installed

创建集群

六个实例分为三组，每组一主一从， --replicas 1 表示每组一个从，交互的时候需要输入yes才能创建。

[root@server1 ~]# redis-cli --cluster create 20.0.0.11:6379 20.0.0.12:6379 20.0.0.13:6379 20.0.0.14:6379 20.0.0.15:6379 20.0.0.16:6379 --cluster-replicas 1
#创建留个地址节点群集，端口为6379，群集名称为cluster-replicas 1：每个主一个从
>>> Performing hash slots allocation on 6 nodes...
Master[0] -> Slots 0 - 5460
Master[1] -> Slots 5461 - 10922
Master[2] -> Slots 10923 - 16383
Adding replica 20.0.0.15:6379 to 20.0.0.11:6379
Adding replica 20.0.0.16:6379 to 20.0.0.12:6379
Adding replica 20.0.0.14:6379 to 20.0.0.13:6379
M: 255641963b8d0e6293b5b28b34c9a4b8f22d0c06 20.0.0.11:6379
   slots:[0-5460] (5461 slots) master #主
M: 3d126de1dc57032165006f087ee4830105d5e909 20.0.0.12:6379
   slots:[5461-10922] (5462 slots) master
M: c91b5ea79d50c0625686cdd0bfc8db7bb635a58f 20.0.0.13:6379
   slots:[10923-16383] (5461 slots) master
S: eafef79f410b46e32032de813b0221e3324ed052 20.0.0.14:6379
   replicates c91b5ea79d50c0625686cdd0bfc8db7bb635a58f #从
S: 99e3fcee79fddee1c47978efd02c43b9f28bb58d 20.0.0.15:6379
   replicates 255641963b8d0e6293b5b28b34c9a4b8f22d0c06
S: afdf6194712087a20da1fbcf276e2522a40d45fa 20.0.0.16:6379
   replicates 3d126de1dc57032165006f087ee4830105d5e909
Can I set the above configuration? (type 'yes' to accept): yes
>>> Nodes configuration updated
>>> Assign a different config epoch to each node
>>> Sending CLUSTER MEET messages to join the cluster
Waiting for the cluster to join
....
>>> Performing Cluster Check (using node 20.0.0.11:6379)
M: 255641963b8d0e6293b5b28b34c9a4b8f22d0c06 20.0.0.11:6379
   slots:[0-5460] (5461 slots) master
   1 additional replica(s)
S: 99e3fcee79fddee1c47978efd02c43b9f28bb58d 20.0.0.15:6379
   slots: (0 slots) slave
   replicates 255641963b8d0e6293b5b28b34c9a4b8f22d0c06
S: afdf6194712087a20da1fbcf276e2522a40d45fa 20.0.0.16:6379
   slots: (0 slots) slave
   replicates 3d126de1dc57032165006f087ee4830105d5e909
M: 3d126de1dc57032165006f087ee4830105d5e909 20.0.0.12:6379
   slots:[5461-10922] (5462 slots) master
   1 additional replica(s)
M: c91b5ea79d50c0625686cdd0bfc8db7bb635a58f 20.0.0.13:6379
   slots:[10923-16383] (5461 slots) master
   1 additional replica(s)
S: eafef79f410b46e32032de813b0221e3324ed052 20.0.0.14:6379
   slots: (0 slots) slave
   replicates c91b5ea79d50c0625686cdd0bfc8db7bb635a58f
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.

redis群集验证

[root@server1 ~]#  redis-cli -h 20.0.0.11 -p 6379 -c
20.0.0.11:6379> set named zhangsan
-> Redirected to slot [14549] located at 20.0.0.13:6379
OK
20.0.0.13:6379> keys * #自动跳转
1) "named"
20.0.0.13:6379> get named
"lisi"

假如20.0.0.13宕机

20.0.0.11:6379> set abc 123
(error) CLUSTERDOWN The cluster is down #对应的集群宕机
再次设置会重新选定
20.0.0.11:6379> set abc 123
-> Redirected to slot [7638] located at 20.0.0.16:6379
OK