文章目录
Redis集群介绍
Redis集群是一个提供在多个Redis间节点间共享数据的程序集
Redis集群并不支持处理多个keys的命令,因为这需要在不同的节点间移动数据,从而达不到像Redis那样的性能,在高负载的情况下可能会导致不可预料的错误。
Redis集群通过分区来提供一定程度的可用性,在实际环境中当某个节点宕机或者不可达的情况下可继续处理命令
Redis集群的优势
自动分割数据到不同的节点上
整个集群的部分节点失败或者不可达的情况下能够继续处理命令
Redis集群的实现方法
有客户端分片
代理分片
服务器端分片
Redis-Cluster数据分片
Redis集群没有使用一致性hash,而是引入了哈希槽概念
Redis集群有16384个哈希槽
每个key通过CRC16校验后对16384取模来决定放置槽
集群的每个节点负责一部分哈希槽
Redis-Cluster数据分片(续)
以3个节点组成的集群为例
节点A包含0到5500号哈希槽
节点B包含5501到11000号哈希槽节
点C包含11001到16384号哈希槽
支持添加或者删除节点
添加删除节点无需停止服务,例如:
如果想新添加个节点D,需要移动节点A,B,C中的部分槽到D上
如果想移除节点A,需要将A中的槽移到B和C节点上,再将没有任何槽的A
节点从集群中移除
Redis-Cluster的主从复制模型
●集群中具有A,B,C三个节点,如果节点B失败了,整个集群就会因缺少5501-11000这个范围的槽而不可用
●当为每个节点添加一个从节点A1,B1,C1,整个集群便有三个master节点和三个slave节点组成,在节点B失败后,集群便会选举B1为新的主节点继续服务
●当B和B1都失败后,集群将不可用
实验
主机分配部署(拓扑图)
实验步骤
关闭防火墙和核心防护
systemctl stop firewalld
setenforce 0
下载资源包:redis-5.0.7.tar.gz
[root@localhost ~]# tar -zxvf redis-5.0.7.tar.gz -C /opt
[root@localhost ~]# cd /opt/redis-5.0.7/
[root@localhost redis-5.0.7]# yum -y install gcc gcc-c++
[root@localhost redis-5.0.7]# make
[root@localhost redis-5.0.7]# make install
[root@localhost redis-5.0.7]# cd utils/
[root@localhost utils]# ./install_server.sh
Welcome to the redis service installer
This script will help you easily set up a running redis server
Please select the redis port for this instance: [6379] #回车
Selecting default: 6379
Please select the redis config file name [/etc/redis/6379.conf] #回车
Selected default - /etc/redis/6379.conf
Please select the redis log file name [/var/log/redis_6379.log] #回车
Selected default - /var/log/redis_6379.log
Please select the data directory for this instance [/var/lib/redis/6379] #回车
Selected default - /var/lib/redis/6379
Please select the redis executable path [/usr/local/bin/redis-server] /usr/local/redis/bin/redis-server #此处作修改
Selected config:
Port : 6379
Config file : /etc/redis/6379.conf
Log file : /var/log/redis_6379.log
Data dir : /var/lib/redis/6379
Executable : /usr/local/bin/redis-server
Cli Executable : /usr/local/bin/redis-cli
Is this ok? Then press ENTER to go on or Ctrl-C to abort.
Copied /tmp/6379.conf => /etc/init.d/redis_6379
Installing service...
Successfully added to chkconfig!
Successfully added to runlevels 345!
Starting Redis server...
Installation successful!
[root@localhost utils]# netstat -antp | grep 6379
tcp 0 0 127.0.0.1:6379 0.0.0.0:* LISTEN 16156/redis-server
[root@localhost utils]# hostnamectl set-hostname master #从服务器改名node
[root@master ~]# vim /etc/redis/6379.conf
89 protected-mode no #关闭保护模式
93 port 6379 #端口
137 daemonize yes #以独立进程启动
833 cluster-enabled yes #开启群集功能
841 cluster-config-file nodes-6379.conf #群集名称文件设置
847 cluster-node-timeout 15000 #群集超时时间设置
700 appendonly yes #开启aof持久化
70 #bind 127.0.0.1 #注释掉
[root@master ~]# /etc/init.d/redis_6379 restart
正常启动后,/var/lib/redis/6379/下会多出2个文件
appendonly.aof #持久化文件
nodes-6379.conf #首次启动生成的配置文件
现在是在三台Master做的操作
[root@master ~]# gpg --keyserver hkp://keys.gnupg.net --recv-keys409B6B1796C275462A1703113804BB82D39DC0E3 #导入证书访问https
gpg: 已创建目录‘/root/.gnupg’
gpg: 新的配置文件‘/root/.gnupg/gpg.conf’已建立
gpg: 警告:在‘/root/.gnupg/gpg.conf’里的选项于此次运行期间未被使用
gpg: 钥匙环‘/root/.gnupg/secring.gpg’已建立
gpg: 钥匙环‘/root/.gnupg/pubring.gpg’已建立
gpg: 下载密钥‘D39DC0E3’,从 hkp 服务器 keys.gnupg.net
gpg: /root/.gnupg/trustdb.gpg:建立了信任度数据库
gpg: 密钥 D39DC0E3:公钥“Michal Papis (RVM signing) <mpapis@gmail.com>”已导入
gpg: 没有找到任何绝对信任的密钥
gpg: 合计被处理的数量:1
gpg: 已导入:1 (RSA: 1)
[root@master ~]# curl -sSL https://get.rvm.io | bash -s stable #这里下载rvm-master.tar.gz软件包,可能会很慢,建议手机开热点,也可以自己去找资源
[root@master ~]# tar zxvf rvm-master.tar.gz -C /opt
[root@master ~]# cd /opt//rvm-master/
[root@master rvm-master]# ./install #安装
[root@master rvm-master]# source /etc/profile.d/rvm.sh #'执行环境变量'
[root@master rvm-master]# rvm list known #'列出ruby可以安装的版本'
[root@master rvm-master]# rvm install 2.4.10 #'安装ruby2.4.10版本,安装版本的事件会比较长'
[root@master rvm-master]# ruby -v #'查看当前ruby版本',检查是否安装成功
[root@master rvm-master]# gem install redis #'再次安装redis'
主服务器上创建群集
[root@master rvm-master]# redis-cli --cluster create 192.168.8.101:6379 192.168.8.102:6379 192.168.8.103:6379 192.168.8.104:6379 192.168.8.105:6379 192.168.8.106:6379 --cluster-replicas 1
#反馈的信息输入yes回车即可,以下为反馈信息'
>>> Performing hash slots allocation on 6 nodes...
Master[0] -> Slots 0 - 5460
Master[1] -> Slots 5461 - 10922
Master[2] -> Slots 10923 - 16383
Adding replica 192.168.8.104:6379 to 192.168.8.101:6379
Adding replica 192.168.8.105 to 192.168.8.102:6379
Adding replica 192.168.8.106:6379 to 192.168.8.103:6379
M: dacbafd23b78accca1ecb7a37a926dd7c711af0d 192.168.8.101:6379 '133,129,130位主'
slots:[0-5460] (5461 slots) master
M: dacbafd23b78accca1ecb7a37a926dd7c711af0d 192.168.8.102:6379
slots:[5461-10922] (5462 slots) master
M: dacbafd23b78accca1ecb7a37a926dd7c711af0d 192.168.8.103:6379
slots:[10923-16383] (5461 slots) master
S: f3a25427b5b2bd0af5b194d0d90c87882a09e4cd 192.168.8.105:6379 '134,131,132为从'
replicates dacbafd23b78accca1ecb7a37a926dd7c711af0d
S: f3a25427b5b2bd0af5b194d0d90c87882a09e4cd 192.168.8.104:6379
replicates dacbafd23b78accca1ecb7a37a926dd7c711af0d
S: f3a25427b5b2bd0af5b194d0d90c87882a09e4cd 192.168.8.106:6379
replicates dacbafd23b78accca1ecb7a37a926dd7c711af0d
Can I set the above configuration? (type 'yes' to accept): yes
>>> Nodes configuration updated
>>> Assign a different config epoch to each node
>>> Sending CLUSTER MEET messages to join the cluster
Waiting for the cluster to join
>>> Performing Cluster Check (using node 192.168.8.101:6379)
M: dacbafd23b78accca1ecb7a37a926dd7c711af0d 192.168.8.102:6379
slots:[0-16383] (16384 slots) master
1 additional replica(s)
S: f3a25427b5b2bd0af5b194d0d90c87882a09e4cd 192.168.8.103:6379
slots: (0 slots) slave
replicates dacbafd23b78accca1ecb7a37a926dd7c711af0d
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.