NoSql数据库 Redis集群详解

俗庸203

已于 2024-08-26 19:22:11 修改

阅读量404

点赞数 18

文章标签： nosql redis 数据库

于 2024-08-26 19:21:05 首次发布

本文链接：https://blog.csdn.net/D2961953033/article/details/141570336

版权

一、NoSql数据库简介

1.1 数据库主要分为两大类：关系型数据库与 NoSQL 数据库

1.2 为什么还要用 NoSQL 数据库呢？

1.3 RDBMS和NOSQL的特点及优缺点：

二 Remote Dictionary Server 简介（redis）

七、Redis Cluster集群（无中心化设计）

一、NoSql数据库简介

1.1 数据库主要分为两大类：关系型数据库与 NoSQL 数据库

关系型数据库，是建立在关系模型基础上的数据库，其借助于集合代数等数学概念和方法来处理数据库中的数据主流的 MySQL、Oracle、MS SQL Server 和 DB2 都属于这类传统数据库。
NoSQL 数据库，全称为 Not Only SQL，意思就是适用关系型数据库的时候就使用关系型数据库，不适用的时候也没有必要非使用关系型数据库不可，可以考虑使用更加合适的数据存储。主要分为临时性键值存储（memcached、Redis）、永久性键值存储（ROMA、Redis）、面向文档的数据库（MongoDB、CouchDB）、面向列的数据库（Cassandra、HBase），每种 NoSQL 都有其特有的使用场景及优点。

1.2 为什么还要用 NoSQL 数据库呢？

主要是由于随着互联网发展，数据量越来越大，对性能要求越来越高，传统数据库存在着先天性的缺陷，即单机（单库）性能瓶颈，并且扩展困难。这样既有单机单库瓶颈，却又扩展困难，自然无法满足日益增长的海量数据存储及其性能要求，所以才会出现了各种不同的 NoSQL 产品， NoSQL 根本性的优势在于在云计算时代，简单、易于大规模分布式扩展，并且读写性能非常高

1.3 RDBMS和NOSQL的特点及优缺点：

二 Remote Dictionary Server 简介（redis）

2.1 什么是redis

Redis (Remote Dictionary Server)

在2009 年发布，开发者是意大利的萨尔瓦多 · 桑菲利波普（ Salvatore Sanfilippo ），他本想为自己的公司开发一个用于替换MySQL 的产品 Redis ，但是没有想到他把 Redis 开源后大受欢迎，短短几年， Redis 就有了很大的用户群体，目前国内外使用的公司众多, 比如 : 阿里 , 百度 , 新浪微博 , 知乎网 ,GitHub,Twitter 等

Redis 是一个开源的、遵循 BSD 协议的、基于内存的而且目前比较流行的键值数据库 (key-value

database) ，是一个非关系型数据库， redis 提供将内存通过网络远程共享的一种服务，提供类似功能的还有memcached ，但相比 memcached ， redis 还提供了易扩展、高性能、具备数据持久性等功能。

Redis 在高并发、低延迟环境要求比较高的环境使用量非常广泛

2.2 Redis特性

速度快: 10W QPS,基于内存,C语言实现
单线程
持久化
支持多种数据结构
支持多种编程语言
功能丰富: 支持Lua脚本,发布订阅,事务,pipeline等功能
简单: 代码短小精悍(单机核心代码只有23000行左右),单线程开发容易,不依赖外部库,使用简单
主从复制
支持高可用和分布式

单线程为何如此快 ?

纯内存
非阻塞
避免线程切换和竞态消耗

2.3 Redis应用场景

Session 共享：常见于web集群中的Tomcat或者PHP中多web服务器session共享
缓存：数据查询、电商网站商品信息、新闻内容
计数器：访问排行榜、商品浏览数等和次数相关的数值统计场景
微博/微信社交场合：共同好友,粉丝数,关注,点赞评论等
消息队列：ELK的日志缓存、部分业务的订阅发布系统
地理位置: 基于GEO(地理信息定位),实现摇一摇,附近的人,外卖等功能

2.4 缓存的实现流程

数据更新操作流程:

数据读操作流程:

三、安装Redis

[root@redis-node1 ~]# dnf install redis -y --------- rpm包安装

3.1 源码安装

安装所需软件：
[root@redis-node1 ~]# dnf install make gcc initscripts-10.11.6-1.el9.x86_64 -y

[root@redis-node1 ~]# tar zxf redis-7.4.0.tar.gz
[root@redis-node1 ~]# cd redis-7.4.0/
[root@redis-node1 redis-7.4.0]# make && make install

注释脚本内容：
[root@redis-node1 redis-7.4.0]# cd utils/
[root@redis-node1 utils]# vim install_server.sh 
#bail if this system is managed by systemd
#_pid_1_exe="$(readlink -f /proc/1/exe)"
#if [ "${_pid_1_exe##*/}" = systemd ]
#then
#       echo "This systems seems to use systemd."
#       echo "Please take a look at the provided example service unit files in this directory, and adapt and install them. Sorry!"
#       exit 1
#fi

[root@redis-node1 utils]# ./install_server.sh 
直接全部回车
[root@redis-node1 utils]# vim /etc/redis/6379.conf 

bind * -::*    ---- 修改端口
protected-mode no  ------ 关闭protected模式

[root@redis-node1 utils]# /etc/init.d/redis_6379 restart

启动命令，可以查看信息了
[root@redis-node1 utils]# redis-cli

四、Redis的基本命令

命令参数	作用
config get *	查看配置
select 1	选择数据库
flushdb	清空当前数据库
flushall	清空所有数据库
move key 1	移动key
del key	删除
rename oldket newkey	改名
expire key 10	设置过期时间
persist key	设置持久化
keys user*	查询
exists key	判断是否存在

示例：

#查看配置
127.0.0.1:6379[1]> CONFIG GET bind
1) "bind"
2) "* -::*"
127.0.0.1:6379[1]> CONFIG GET *

#写入和读取数据
127.0.0.1:6379> SET name lee
OK
127.0.0.1:6379> GET name
"xiaoding"
127.0.0.1:6379> set name lee ex 5
OK
127.0.0.1:6379> get name
"xiaoding"
127.0.0.1:6379> get name
"xiaoding"
127.0.0.1:6379> get name
"xiaoding"
127.0.0.1:6379> get name
"xiaoding"
127.0.0.1:6379> get name
(nil)
#如果没有设定数据过期时间会一直存在， /var/lib/redis/6379/dump.rdb内存快照中
127.0.0.1:6379> set name xiaoding
OK
127.0.0.1:6379> KEYS * #查看所有key
1) "name"

#选择数据库 redisa中有0-15个数据库
127.0.0.1:6379> select 1
OK
127.0.0.1:6379[1]> get name
(nil)
127.0.0.1:6379> select 0
127.0.0.1:6379[1]> select 16
(error) ERR DB index is out of range

#移动数据
127.0.0.1:6379> set name xiaoding
OK
127.0.0.1:6379> MOVE name 1
(integer) 1
127.0.0.1:6379> GET name
(nil)
127.0.0.1:6379> select 1
OK
127.0.0.1:6379[1]> get name
"xiaoding"

#改变键名
127.0.0.1:6379[1]> RENAME name id
OK
127.0.0.1:6379[1]> get name
(nil)
127.0.0.1:6379[1]> get id
"xiaoding"

#设定数据过期时间
127.0.0.1:6379> set name xiaoding ex 10000
OK
127.0.0.1:6379> get name
"xiaoding"
127.0.0.1:6379> EXPIRE name 3
(integer) 1
127.0.0.1:6379> get name
"xiaoding"
127.0.0.1:6379> get name
(nil)


#删除
127.0.0.1:6379> set name xiaoding
OK
127.0.0.1:6379> get name
"xiaoding"
127.0.0.1:6379> del name
(integer) 1
127.0.0.1:6379> get name
(nil)

#持久化保存
127.0.0.1:6379> PERSIST name
(integer) 0

#判断key是否存在
127.0.0.1:6379> EXISTS name
(integer) 1
127.0.0.1:6379> EXISTS xiaoding
(integer) 0

#清空当前库
127.0.0.1:6379> flushdb
OK
127.0.0.1:6379> GET name
(nil)


#清空所有库
127.0.0.1:6379[1]> FLUSHALL
OK

五、Redis 的主从复制

5.1 主从同步过程

slave节点发送同步亲求到master节点
slave节点通过master节点的认证开始进行同步

master节点会开启bgsave进程发送内存rbd到slave节点，在此过程中是异步操作，也就是说 master节点仍然可以进行写入动作
slave节点收到rdb后首先清空自己的所有数据
slave节点加载rdb并进行数据恢复
在master和slave同步过程中master还会开启新的bgsave进程把没有同步的数据进行缓存
然后通过自有的replactionfeedslave函数把未通过内存快照发动到slave的数据一条一条写入到 slave中

5.2 实验环境：

主机名	IP	角色
redis-node1	172.25.254.10	master
redis-node2	172.25.254.20	slave
redis-node3	172.25.254.30	slave

5.3 配置master：

[root@redis-node1 utils]# ./install_server.sh 
直接全部回车
[root@redis-node1 utils]# vim /etc/redis/6379.conf 

bind * -::*    ---- 修改端口
protected-mode no  ------ 关闭protected模式

[root@redis-node1 utils]# /etc/init.d/redis_6379 restart

5.4 配置slave：

在10上面编译的Redis传到20和30上面：
[root@redis-node1 ~]# scp -r redis-7.4.0 root@172.25.254.20:/root/
[root@redis-node1 ~]# scp -r redis-7.4.0 root@172.25.254.30:/root/
[root@redis-node1 ~]# cd /usr/local/bin/
[root@redis-node1 bin]# rsync -al * root@172.25.254.20:/usr/local/bin/
[root@redis-node1 bin]# rsync -al * root@172.25.254.30:/usr/local/bin/

172.25.254.20上：
要安装软件：
[root@redis-node2 ~]# dnf install initscripts-10.11.6-1.el9.x86_64 -y
[root@redis-node2 ~]# cd redis-7.4.0/utils/
[root@redis-node2 utils]# ./install_server.sh 
和上面一样全部回车

修改配置文件
[root@redis-node2 utils]# vim /etc/redis/6379.conf

bind * -::*    ---- 修改端口

protected-mode no  ------ 关闭protected模式

replicaof 172.25.254.10 6379   --------- 添加master的ip及端口

[root@redis-node2 utils]# /etc/init.d/redis_6379 restart
Stopping ...
Redis stopped
Starting Redis server...

查看端口是否开启：
[root@redis-node2 bin]# netstat -antlpe | grep redis


172.25.254.30上：
[root@redis-node3 ~]# dnf install initscripts-10.11.6-1.el9.x86_64 -y
[root@redis-node3 ~]# cd redis-7.4.0/utils/
[root@redis-node3 utils]# ./install_server.sh 
和上面一样全部回车

修改配置文件
[root@redis-node3 utils]# vim /etc/redis/6379.conf

bind * -::*    ---- 修改端口

protected-mode no  ------ 关闭protected模式

replicaof 172.25.254.10 6379   --------- 添加master的ip及端口

[root@redis-node3 utils]# /etc/init.d/redis_6379 restart
Stopping ...
Redis stopped
Starting Redis server...

查看端口是否开启：
[root@redis-node3 bin]# netstat -antlpe | grep redis

5.5 测试数据是否能同步master：

172.25.254.10上：
[root@redis-node1 ~]# redis-cli 
127.0.0.1:6379> info replication    ---------- 可以查看slave信息
127.0.0.1:6379> set name xiaoding    --------- 写入一个数据
OK
127.0.0.1:6379> 
127.0.0.1:6379> get name
"xiaoding"
127.0.0.1:6379> 


20和30上面是否能同步到：
[root@redis-node2 ~]# redis-cli
127.0.0.1:6379> 
127.0.0.1:6379> get name
"xiaoding"
127.0.0.1:6379> 


[root@redis-node3 ~]# redis-cli
127.0.0.1:6379> 
127.0.0.1:6379> get name
"xiaoding"
127.0.0.1:6379>

六、Redis的哨兵（高可用）

实验环境：就使用上面的一主两从

6.1 Redis哨兵介绍

Sentinel 进程是用于监控 redis 集群中 Master 主服务器工作的状态，在 Master 主服务器发生故障的时候，可以实现Master 和 Slave 服务器的切换，保证系统的高可用，此功能在 redis2.6+ 的版本已引用， Redis 的哨兵模式到了2.8 版本之后就稳定了下来。一般在生产环境也建议使用 Redis 的 2.8 版本的以后版本。

每个哨兵(Sentinel)进程会向其它哨兵 (Sentinel) 、 Master 、 Slave 定时发送消息，以确认对方是否 ” 活 ”着，如果发现对方在指定配置时间( 此项可配置 ) 内未得到回应，则暂时认为对方已离线，也就是所谓的 ”主观认为宕机” ( 主观 : 是每个成员都具有的独自的而且可能相同也可能不同的意识 ) ，英文名称Subjective Down，简称 SDOWN。

有主观宕机，对应的有客观宕机。当 “ 哨兵群 ” 中的多数 Sentinel 进程在对 Master 主服务器做出 SDOWN 的判断，并且通过 SENTINEL is-master-down-by-addr 命令互相交流之后，得出的 Master Server 下线判断，这种方式就是“ 客观宕机 ”( 客观 : 是不依赖于某种意识而已经实际存在的一切事物 ) ，英文名称是Objectively Down，简称 ODOWN

通过一定的vote 算法，从剩下的 slave 从服务器节点中，选一台提升为 Master 服务器节点，然后自动修改相关配置，并开启故障转移（failover ）

Sentinel 机制可以解决 master 和 slave 角色的自动切换问题，但单个 Master 的性能瓶颈问题无法解决 , 类似于MySQL 中的 MHA 功能

Redis Sentinel 中的 Sentinel 节点个数应该为大于等于 3 且最好为奇数

sentinel 中的三个定时任务

每10秒每个sentinel对master和slave执行info

1.发现slave节点

2.确认主从关系

每2秒每个sentinel通过master节点的channel交换信息(pub/sub)

1.通过sentinel__:hello频道交互； 2. 交互对节点的“看法”和自身信息

每1秒每个sentinel对其他sentinel和redis执行pi

6.2 Redis哨兵实验

在master节点中：
[root@redis-node1 ~]# cd redis-7.4.0/
[root@redis-node1 redis-7.4.0]# cp sentinel.conf /etc/redis/
[root@redis-node1 redis-7.4.0]#

配置参数解释：
protected-mode no 				#关闭保护模式
port 26379					    #监听端口
daemonize no 					#进入不打如后台
pidfile /var/run/redis-sentinel.pid 			#sentinel进程pid文件
loglevel notice 								#日志级别
sentinel monitor mymaster 172.25.254.100 6379 2 #创建sentinel监控监控master主机，2表示必须得到2票
sentinel down-after-milliseconds mymaster 10000 #master中断时长，10秒连不上视为master下线
sentinel parallel-syncs mymaster 1 				#发生故障转移后，同时开始同步新master数据的slave数量
sentinel failover-timeout mymaster 180000 		#整个故障切换的超时时间为3分钟


[root@redis-node1 redis-7.4.0]# vim sentinel.conf

sentinel monitor mymaster 172.25.254.10 6379 2     #2表示主观下线之后的两跳，表示它挂了，会选举新的master，如果开着的，会以slave的身份加入集群，就会把自己的数据都删掉

sentinel down-after-milliseconds mymaster 10000    #master中断时长，10秒连不上视为master下线


[root@redis-node1 redis-7.4.0]# scp /etc/redis/sentinel.conf root@172.25.254.20:/etc/redis/sentinel.conf
[root@redis-node1 redis-7.4.0]# scp /etc/redis/sentinel.conf root@172.25.254.30:/etc/redis/sentinel.conf

三台主机都做个备份：
[root@redis-node1 redis-7.4.0]# cd /etc/redis/
[root@redis-node1 redis]# cp sentinel.conf sentinel.conf.bak     --- 做个备份。哨兵模式会更改配置文件内容，需要还原的时候用备份文件还原就行了

启动哨兵：
[root@redis-node1 redis]# redis-sentinel /etc/redis/sentinel.conf

复制会话看效果：

[root@redis-node1 redis]# vim sentinel.conf
[root@redis-node1 redis]# pwd
/etc/redis
[root@redis-node1 redis]#

把10给down掉：
[root@redis-node1 ~]# redis-cli
127.0.0.1:6379> SHUTDOWN
(0.89s)
not connected> quit

可以看到配置文件最后会自动加一些信息

20上面：

30上面：

上图中可以看到30被选举为master：
[root@redis-node1 ~]# ssh -l root 172.25.254.30
[root@redis-node3 ~]# redis-cli
127.0.0.1:6379> info replication
# Replication
role:master       ----- 可以看到30成为了master
connected_slaves:1   ----- 只有一个slave，因为10挂掉了
slave0:ip=172.25.254.20,port=6379,state=online,offset=102995,lag=1
master_failover_state:no-failover
master_replid:5435161d3440fb2fa306013f69a293295eabdef4
master_replid2:a186c4fed44a6086a5e9ea7c42f91a9219e766f0
master_repl_offset:103136
second_repl_offset:38539
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:155
repl_backlog_histlen:102982
127.0.0.1:6379> quit
[root@redis-node3 ~]# exit
logout
Connection to 172.25.254.30 closed

[root@redis-node3 ~]# exit
[root@redis-node1 ~]# /etc/init.d/redis_6379 start
Starting Redis server...
[root@redis-node1 ~]# ssh -l root 172.25.254.30

[root@redis-node3 ~]# redis-cli
127.0.0.1:6379> info replication
# Replication
role:master
connected_slaves:2     ---- 就变成两个slave了
slave0:ip=172.25.254.20,port=6379,state=online,offset=120050,lag=0
slave1:ip=172.25.254.10,port=6379,state=online,offset=119909,lag=1
master_failover_state:no-failover
master_replid:5435161d3440fb2fa306013f69a293295eabdef4
master_replid2:a186c4fed44a6086a5e9ea7c42f91a9219e766f0
master_repl_offset:120050
second_repl_offset:38539
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:155
repl_backlog_histlen:119896
127.0.0.1:6379> 

这个就解决了主从的单点故障问题。

恢复：
[root@redis-node1 ~]# cd /etc/redis/ 
[root@redis-node1 redis]# ls
6379.conf  sentinel.conf  sentinel.conf.bak
[root@redis-node1 redis]# cp sentinel.conf.bak sentinel.conf
cp: overwrite 'sentinel.conf'? y
[root@redis-node1 redis]#

6.3 在整个架构中可能会出现的问题

问题：

在生产环境中如果master和slave中的网络出现故障，由于哨兵的存在会把master提出去

当网络恢复后，master发现环境发生改变，master就会把自己的身份转换成slave

master变成slave后会把网络故障那段时间写入自己中的数据清掉，这样数据就丢失了。

解决：

master在被写入数据时会持续连接slave，mater确保有2个slave可以写入我才允许写入

如果slave数量少于2个便拒绝写入

如何保持数据一致性，如何解决的。

在master中设定：  （临时更改）
[root@redis-node3 redis]# redis-cli
127.0.0.1:6379> CONFIG GET min-slaves-to-write
1) "min-slaves-to-write"      ---- 现在是没有slave也可以写入数据
2) "0"
127.0.0.1:6379> CONFIG set min-slaves-to-write 2   --- slave数量必须大于两个
OK
127.0.0.1:6379> CONFIG GET min-slaves-to-write 
1) "min-slaves-to-write"
2) "2"
127.0.0.1:6379> 

永久更改：
[root@redis-node3 redis]# vim /etc/redis/6379.conf     -- 写到配置文件里面去就行
# even if no authentication is configured.
protected-mode no
min-slaves-to-write 2
# Redis uses default hardened security configuration directives to reduce the
# attack surface on innocent users. Therefore, several sensitive configuration

七、Redis Cluster集群（无中心化设计）

7.1 工作原理

在哨兵sentinel机制中，可以解决redis高可用问题，即当master故障后可以自动将slave提升为master，

从而可以保证redis服务的正常使用，但是无法解决redis单机写入的瓶颈问题，即单机redis写入性能受

限于单机的内存大小、并发数量、网卡速率等因素。

redis 3.0版本之后推出了无中心架构的redis cluster机制，在无中心的redis集群当中，其每个节点保存

当前节点数据和整个集群状态,每个节点都和其他所有节点连接

Redis Cluster特点如下

所有Redis节点使用(PING机制)互联
集群中某个节点的是否失效，是由整个集群中超过半数的节点监测都失效，才能算真正的失效
客户端不需要proxy即可直接连接redis，应用程序中需要配置有全部的redis服务器IP
redis cluster把所有的redis node 平均映射到 0-16383个槽位(slot)上，读写需要到指定的redisnode上进行操作，因此有多少个redis node相当于redis 并发扩展了多少倍，每个redis node 承担16384/N个槽位
Redis cluster预先分配16384个(slot)槽位，当需要在redis集群中写入一个key -value的时候，会使用CRC16(key) mod 16384之后的值，决定将key写入值哪一个槽位从而决定写入哪一个Redis节点上，从而有效解决单机瓶颈。

查看三台主机的进程，全部删掉
[root@redis-node1 redis-7.4.0]# ps aux | grep redis-server
[root@redis-node2 redis-7.4.0]# ps aux | grep redis-server
[root@redis-node3 redis-7.4.0]# ps aux | grep redis-server
使用kill命令删掉

删除安装：
[root@redis-node1 redis-7.4.0]# make uninstall
cd src && make uninstall
make[1]: Entering directory '/root/redis-7.4.0/src'
rm -f /usr/local/bin/{redis-server,redis-benchmark,redis-cli,redis-check-rdb,redis-check-aof,redis-sentinel}
make[1]: Leaving directory '/root/redis-7.4.0/src'

[root@redis-node2redis-7.4.0]# make uninstall
[root@redis-node3redis-7.4.0]# make uninstall