缓存加速---NoSQL之Redis集群

缓存加速—NoSQL之Redis集群

一、案例概述

1.1 单节点Redis服务器带来的问题

• 单点故障,服务不可用
• 无法处理大量的并发数据请求
• 数据丢失——大灾难

1.2 解决方法

• 搭建Redis集群

二、案例前置知识点

2.1 Redis集群介绍

• Redis集群是一个提供在多个Redis间节点间共享数据的程序集
• Redis集群并不支持处理多个keys的命令,因为这需要在不同的节点间移动数据,从而达不到像Redis那样的性能,在高负载的情况下可能会导致不可预料的错误
• Redis集群通过分区来提供一定程序的可用性,在实际环境中当某个节点宕机或者不可达的情况下可继续处理命令

2.2 Redis集群的优势

• 自动分割数据到不同的节点上
• 整个集群的部分节点失败或者不可达的情况下能够继续处理命令

2.3 Redis集群的实现方法

• 有客户端分片
• 代理分片
• 服务器端分片

2.4 Redis-Cluster数据分片

• Redis集群没有使用一致性hash,而是引入了哈希槽概念
• Redis集群有16384个哈希槽
• 每个key通过CRC16校验后对16384取模来决定放置槽
• 集群的每个节点负责一部分哈希槽
• 以3个节点组成的集群为例
  • 节点A包含0到5500号哈希槽
  • 节点B包含5501到11000号哈希槽
  • 节点C包含11001到16384号哈希槽
• 支持添加或者删除节点
  • 添加删除节点无需停止服务
  • 例如
    • 如果想新添加个节点D,需要移动节点A、B、C中的部分槽到D上
    • 如果想移动节点A,需要将A中的槽移到B和C节点上,再将没有任何槽的A系欸但从集群中移除

2.5 Redis-Cluster的主从复制模型

• 集群中具有A、B、C三个节点,如果节点B失败了,整个集群就会因缺少5501-11000这个范围的槽而不可用
• 为每个节点添加一个从节点A1,B1,C1,整个集群便有三个master节点和三个slave节点组成,在节点B失败后,集群便会选举B1为新的主节点继续服务
• 当B和B1都失败后,集群将不可用

三、案例环境

master01 20.0.0.10

master02 20.0.0.20

master03 20.0.0.30

slave01 20.0.0.40

slave02 20.0.0.50

slave03 20.0.0.60

四、案例实施

4.1 设置网络参数、关闭防火墙和selinux(所有节点)

[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# systemctl disable firewalld
[root@localhost ~]# setenforce 0
[root@localhost ~]# sed -i '/^SELINUX=/s/enforcing/disabled/' /etc/selinux/config


systemctl stop firewalld
systemctl disable firewalld
setenforce 0
sed -i '/^SELINUX=/s/enforcing/disabled/' /etc/selinux/config

4.2 下载并安装Redis(所有节点)

yum -y install gcc gcc-c++ make

tar zxvf redis-5.0.7.tar.gz

cd redis-5.0.7/
make
make PREFIX=/usr/local/redis install
ln -s /usr/local/redis/bin/* /usr/local/bin/

cd utils/
./install_server.sh
...			'//一直回车'
Port			:6379			'//端口号'
Config file		:/etc/redis/.conf			'//配置文件路径'
Log file		:/var/log/redis_6379.log	'//日志文件路径'
Data dir		:/var/lib/redis/6379		'//数据文件路径'
Executable		:/usr/local/redis/bin/redis-server			'//可执行文件路径'
Cli Executable	:/usr/local/bin/redis-cli			'//客户端命令工具'

4.3 修改Redis配置文件(所有节点)

vim /etc/redis/6379.conf
70/#bind 127.0.0.1
89/protected-mode no			'//关闭保护模式'
93/port 6379
137/daemonize yes				'//以地理进程启动'
833/cluster-enabled yes			'//开启群集功能'
841/cluster-congig-file nodes-6379.conf			'//群集名称文件设置'
847/cluster-node-timeout 15000	'//群集超时时间设置'
700/appendonly yes				'//开启aof持久化'

/etc/init.d/redis_6379 restart
正常启动后,/var/lib/redis/6379/目录下会多出两个文件
netstat -luntp | grep 6379

4.4 创建Redis集群(master1节点)

• 导入key文件并安装rvm

  gpg --keyserver hkp://keys.gnupg.net --recv-keys 409B6B1796C275462A1703113804BB82D39DC0E3
  
  #安装rvm(使用浏览器打开另存为rvm-installer.sh文件,运行)
  curl -sSL https://get.rvm.io | bash -s stable
  
  ./rvm-install.sh
  

• 执行环境变量让其生效

  source /etc/profile.d/rvm.sh
  

• 安装Ruby2.4.1版本

  #列出Ruby可安装的版本
  rvm list known
  #安装Ruby2.4.10版本
  rvm install 2.4.10
  #使用Ruby2.4.10版本
  rvm use 2.4.10
  #查看当前Ruby2.4.10版本
  ruby -v
  

• 安装redis客户端

  gem install redis
  

• 创建redis集群

  redis-cli --cluster create 20.0.0.10:6379 20.0.0.20:6379 20.0.0.30:6379 20.0.0.40:6379 20.0.0.50:6379 20.0.0.60:6379 --cluster-replicas 1
  

4.5 测试集群数据读写

#20.0.0.10 写入数据

[root@localhost 6379]# redis-cli -c -h 20.0.0.10
20.0.0.10:6379> set address nanjing
OK
20.0.0.10:6379> get address
"nanjing"

#20.0.0.20读取数据

20.0.0.20:6379> get address
-> Redirected to slot [3680] located at 20.0.0.10:6379
"nanjing"

#20.0.0.30读取数据

20.0.0.30:6379> get address
-> Redirected to slot [3680] located at 20.0.0.10:6379
"nanjing"

#20.0.0.40读取数据

20.0.0.40:6379> get address
-> Redirected to slot [3680] located at 20.0.0.10:6379
"nanjing"

#20.0.0.50读取数据

20.0.0.50:6379> get address
-> Redirected to slot [3680] located at 20.0.0.10:6379
"nanjing"

#20.0.0.60读取数据

20.0.0.60:6379> get address
-> Redirected to slot [3680] located at 20.0.0.10:6379
"nanjing"