文章目录
一:案例概述
1.1:单节点Redis服务器带来的问题
- 单点故障,服务不可用
- 无法处理大量的并发数据请求
- 数据丢失一大灾难
1.2:解决方法
- 搭建Redis群集
二:案例前置知识点
2.1:Redis群集介绍
- Redis群集是一个提供在多个Redis间节点共享数据的程序集
- Redistribution群集并不支持处理多个key的命令,因为这需要在不同节点间移动数据,从而达不到像Redis那样的性能,在搞负载的情况下可能会导致不可预料的错误
- Redis群集通过分区来提供一定程度的可用性,在实际环境中当某个节点宕机或者不可达的情况下可继续处理命令
2.2:Redis群集的优势
- 自动分割数据到不同的节点上
- 整个群集的部分节点失败或者不可达的情况子啊能够继续处理命令
2.3:Redis群集的实现办法
- 有客户端分片
- 代理分片
- 服务器端分片
2.4:Redis-Cluster数据分片
- Redis群集没有使用一致性HASH,而是引入了哈希槽概念
- Redis群集有16384个哈希槽
- 每个key通过CRC16校验后对16384取模来决定放置槽
- 群集的每个节点负责一部分哈希槽
- 以3个节点组成的群集为例
- 节点A包含0到5500号哈希槽
- 节点B包含5501到11000号哈希槽
- 节点C包含11001到16384号哈希槽
- 支持添加或者删除节点
-
添加删除节点无需停止服务
-
例如:
- 如果想添加一个节点D,需要移动几点A、B、C中的部分槽到节点D上
- 如果想移除节点A,需要将节点A的槽移动到节点B和C节点上,再将没有任何槽的节点A从群集中移除
2.5:Redis-Cluster的主从复制模型
- 群集中具有A,B,C三个节点,如果节点B失败了,整个群集就会因为缺少5501~11000这个范围的槽而不可用
- 为每个节点添加一个从节点A1,B1,C1,整个群集边有三个master节点和三个slave节点组成,在节点B失败后,群集便会选举B1作为新的主节点继续服务
- 当B和B1都失败后,群集将不可用
三:案例环境
- 案例拓扑图
四:案例实施
-
设置网络参数、关闭防火墙和selinux(所有节点)
-
下载并安装Redis(所有节点)
-
修改Redis配置文件(所有节点)
-
创建Redis群集(master1节点)
- 导入key文件并安装rvm
- 执行环境变量使其生效
- 安装Ruby2.4.1版本
- 安装redis客户端
- 创建redis群集
五:部署redis群集
5.1:主从服务器部署Redis
'//主从服务器的部署都是一样的,在此仅展示主服务器的部署'
[root@master1 ~]# yum install gcc gcc-c++ make -y '//安装环境组件编译器'
[root@master1 redis]# tar zxvf redis-5.0.7.tar.gz -C /opt '//redis源码包可以直接到官网下载'
[root@master1 redis]# cd /opt/redis-5.0.7/
[root@master1 redis-5.0.7]# make '//直接进行make'
[root@master1 redis-5.0.7]# make PREFIX=/usr/local/redis/ install '//指定redis目录并安装'
[root@master1 redis-5.0.7]# cd utils/'//回到redis源码包解压目录'
[root@master1 utils]# ./install_server.sh '//执行脚本进行配置'
Welcome to the redis service installer
This script will help you easily set up a running redis server
Please select the redis port for this instance: [6379] '//选择redis默认接口,直接回车'
Selecting default: 6379
Please select the redis config file name [/etc/redis/6379.conf] '//选择redis默认配置文件名称,直接回车'
Selected default - /etc/redis/6379.conf
Please select the redis log file name [/var/log/redis_6379.log] '//选择默认redis日志文件名称,直接回车'
Selected default - /var/log/redis_6379.log
Please select the data directory for this instance [/var/lib/redis/6379] '//选择默认接口的默认数据文件,直接回车'
Selected default - /var/lib/redis/6379
Please select the redis executable path [] /usr/local/redis/bin/redis-server '//选择redis可执行文件路径,需要手动输入此路径:/usr/local/redis/bin/redis-server'
Selected config: '//选择的配置清单展示'
Port : 6379
Config file : /etc/redis/6379.conf
Log file : /var/log/redis_6379.log
Data dir : /var/lib/redis/6379
Executable : /usr/local/redis/bin/redis-server
Cli Executable : /usr/local/redis/bin/redis-cli
Is this ok? Then press ENTER to go on or Ctrl-C to abort. '//直接回车完成配置'
Copied /tmp/6379.conf => /etc/init.d/redis_6379
Installing service...
Successfully added to chkconfig!
Successfully added to runlevels 345!
Starting Redis server...
Installation successful!
[root@master1 utils]# ln -s /usr/local/redis/bin/* /usr/local/bin '//将redis命令创建软连接,便于系统识别'
[root@master1 utils]# netstat -ntap |grep 6379
tcp 0 0 127.0.0.1:6379 0.0.0.0:* LISTEN
5.2:主从服务器部配置文件修改
[root@master1 utils]# vim /etc/redis/6379.conf '//修改主配置文件'
#bind 127.0.0.1 '//注释第70行的监听127地址,表示监听所有地址'
protected-mode no '//去掉第89行注释关闭安全保护'
port 6379 '//去掉第93行注释,开启端口6379'
daemonize yes '//去掉第137行注释,以独立进程启动'
cluster-enabled yes '//去掉第833行注释,开启群集功能'
cluster-config-file nodes-6379.conf '//去掉第841行注释,群集名称文件设置'
cluster-node-timeout 15000 '//去掉第847行注释,群集超时时间设置'
appendonly yes '//去掉第700行注释,开启aof持久化'
[root@master1 utils]# cd /var/lib/redis/6379/
[root@master1 6379]# /etc/init.d/redis_6379 restart '//重启redis服务'
[root@master1 6379]# ls
appendonly.aof dump.rdb nodes-6379.conf '//生成了三个文件,appendonly.aof是AOF持久化文件,dump.rdb是RDB快照文件,nodes-6379.conf是节点首次启动生成的配置文件'
5.3:主服务器安装rvm,Ruby控制群集软件
[root@master1 6379]# gpg --keyserver hkp://keys.gnupg.net --recv-keys 409B6B1796C275462A1703113804BB82D39DC0E3 '//导入key文件,若出现error,重新导入一次即可'
[root@master1 6379]# curl -sSL https://get.rvm.io | bash -s stable '//安装rvm'
[root@master1 rvm-1.29.9]# cd /mnt/redis/
[root@master1 redis]# tar zxvf rvm-master.tar.gz -C /opt
[root@master1 redis]# cd /opt/rvm-master/
[root@master1 rvm-master]# ./install
[root@master1 rvm-master]# source /etc/profile.d/rvm.sh '//执行环境变量'
[root@master1 rvm-master]# rvm list known '//列出ruby可以安装的版本'
[root@master1 rvm-master]# rvm install 2.4.1 '//安装ruby2.4.1版本,安装版本的时间会比较长'
[root@master1 rvm-master]# ruby -v '//查看当前ruby版本'
[root@master1 rvm-master]# gem install redis '//再次安装redis'
5.4:主从服务器各自添加两块网卡
[root@master1 rvm-master]# systemctl restart network '//重启网卡'
[root@master1 rvm-master]# systemctl stop firewalld.service '//关闭防火墙'
[root@master1 rvm-master]# setenforce 0
5.5:主服务器上创建群集
[root@master1 rvm-master]# redis-cli --cluster create 20.0.0.111:6379 20.0.0.211:6379 20.0.0.212:6379 20.0.0.112:6379 20.0.0.213:6379 20.0.0.214:6379 --cluster-replicas 1
'//反馈的信息输入yes回车即可,以下为反馈信息'
>>> Performing hash slots allocation on 6 nodes...
Master[0] -> Slots 0 - 5460
Master[1] -> Slots 5461 - 10922
Master[2] -> Slots 10923 - 16383
Adding replica 20.0.0.111:6379 to 20.0.0.112:6379
Adding replica 20.0.0.211:6379 to 20.0.0.213:6379
Adding replica 20.0.0.212:6379 to 20.0.0.214:6379
M: dacbafd23b78accca1ecb7a37a926dd7c711af0d 20.0.0.111:6379 '//111,211,212位主'
slots:[0-5460] (5461 slots) master
M: dacbafd23b78accca1ecb7a37a926dd7c711af0d 20.0.0.211:6379
slots:[5461-10922] (5462 slots) master
M: dacbafd23b78accca1ecb7a37a926dd7c711af0d 20.0.0.212:6379
slots:[10923-16383] (5461 slots) master
S: f3a25427b5b2bd0af5b194d0d90c87882a09e4cd 20.0.0.112:6379 '//112,213,214为从'
replicates dacbafd23b78accca1ecb7a37a926dd7c711af0d
S: f3a25427b5b2bd0af5b194d0d90c87882a09e4cd 20.0.0.213:6379
replicates dacbafd23b78accca1ecb7a37a926dd7c711af0d
S: f3a25427b5b2bd0af5b194d0d90c87882a09e4cd 20.0.0.214:6379
replicates dacbafd23b78accca1ecb7a37a926dd7c711af0d
Can I set the above configuration? (type 'yes' to accept): yes
>>> Nodes configuration updated
>>> Assign a different config epoch to each node
>>> Sending CLUSTER MEET messages to join the cluster
Waiting for the cluster to join
>>> Performing Cluster Check (using node 20.0.0.111:6379)
M: dacbafd23b78accca1ecb7a37a926dd7c711af0d 20.0.0.111:6379
slots:[0-16383] (16384 slots) master
1 additional replica(s)
S: f3a25427b5b2bd0af5b194d0d90c87882a09e4cd 20.0.0.112:6379
slots: (0 slots) slave
replicates dacbafd23b78accca1ecb7a37a926dd7c711af0d
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.
'//一主一从的绑定关系是随机的'
5.6:集群验证
- 主从数据验证
[root@master1 rvm-master]# redis-cli -h 20.0.0.111 -p 6379 '//登陆到111服务器数据库'
20.0.0.111:6379> keys *
(empty list or set)
20.0.0.111:6379> set user lisi '//创建一个键值'
OK
20.0.0.111:6379> keys * '//查看所有键'
1) "user"
20.0.0.111:6379> get user '//查看user键的值'
"lisi"
20.0.0.111:6379> exit '//退出'
[root@master1 rvm-master]# redis-cli -h 20.0.0.112 -p 6379 '//登陆到112服务器数据库'
20.0.0.112:6379> keys *
1) "user"
20.0.0.112:6379> get user '//查看user键的值'
(error) MOVED 5474 20.0.0.211:6379 '//提示移动到211节点上'
20.0.0.112:6379> exit
[root@master1 rvm-master]# redis-cli -h 192.168.79.211 -p 6379 '//登陆到211服务器的数据库'
20.0.0.211:6379> keys *
1) "user"
20.0.0.211:6379> get user
"lisi"
20.0.0.211:6379> exit