NoSQL数据库-Redis集群详解及案例实现

一瓶橘子罐头

于 2024-08-27 22:56:40 发布

阅读量561

点赞数 11

文章标签： nosql redis 数据库服务器运维 linux

本文链接：https://blog.csdn.net/m0_63631814/article/details/141614469

版权

一、关系型数据库和 NoSQL 数据库

1.1 数据库主要分为两大类：关系型数据库与 NoSQL 数据库

关系型数据库，是建立在关系模型基础上的数据库，其借助于集合代数等数学概念和方法来处理数据库中的数据主流的 MySQL、Oracle、MS SQL Server 和 DB2 都属于这类传统数据库。
NoSQL 数据库，全称为 Not Only SQL，意思就是适用关系型数据库的时候就使用关系型数据库，不适用的时候也没有必要非使用关系型数据库不可，可以考虑使用更加合适的数据存储。主要分为临时性键值存储（memcached、Redis）、永久性键值存储（ROMA、Redis）、面向文档的数据库（MongoDB、CouchDB）、面向列的数据库（Cassandra、HBase），每种 NoSQL 都有其特有的使用场景及优点。

1.2 RDBMS和NOSQL的特点及优缺点

	关系型数据库	NoSQL数据库
特点	数据关系基于关系模型，结构化存储，完整性约束基于二维表及之间的联系，需要连接，并、交、差、除等数据操作采用结构化的查询语言(SQL)做数据读写操作需要数据的一致性，需要事务甚至是强一致性	非结构化的存储基于多维关系模型具有特有的使用场景
优点	保持数据的一致性（事务处理）可以进行join等复杂查询通用化，技术成熟	高并发，大数据下读写能力较强支持分布式，易于扩展，可伸缩简单，弱结构化存储
缺点	数据读写必须经过SQL分析，大量数据，高并发下读写性能不足对数据做读写或者修改数据结构时需要加锁，影响并发操作无法适应非结构化存储扩展困难昂贵、复杂	join等复杂操作能力较弱事务支持较弱通用性差无完整约束，复杂业务场景支持较差

二、Redis简介

2.1 Redis介绍

在这里插入图片描述

Redis 是一个开源的、基于内存的数据结构存储系统（NoSQL），通常用作数据库、缓存和消息代理。它的名字源自 “REmote DIctionary Server”（远程字典服务器）。目前国内外使用的公司众多,比如:阿里,百度,新浪微博,知乎网,GitHub,Twitter 等Redis是一个开源的、遵循BSD协议的、基于内存的而且目前比较流行的键值数据库(key-valuedatabase)，是一个非关系型数据库，redis 提供将内存通过网络远程共享的一种服务，提供类似功能的还有memcached，但相比memcached，redis还提供了易扩展、高性能、具备数据持久性等功能。Redis 在高并发、低延迟环境要求比较高的环境使用量非常广泛

2.2 Redis特性

速度快: 10W QPS,基于内存,C语言实现
单线程
持久化
支持多种数据结构
支持多种编程语言
功能丰富: 支持Lua脚本,发布订阅,事务,pipeline等功能
简单: 代码短小精悍(单机核心代码只有23000行左右),单线程开发容易,不依赖外部库,使用简单
主从复制
支持高可用和分布式

单线程为何如此快？

纯内存
非阻塞
避免线程切换和竞态消耗

2.3 Redis应用场景

Session 共享：常见于web集群中的Tomcat或者PHP中多web服务器session共享
缓存：数据查询、电商网站商品信息、新闻内容
计数器：访问排行榜、商品浏览数等和次数相关的数值统计场景
微博/微信社交场合：共同好友,粉丝数,关注,点赞评论等
消息队列：ELK的日志缓存、部分业务的订阅发布系统
地理位置: 基于GEO(地理信息定位),实现摇一摇,附近的人,外卖等功能

在这里插入图片描述

2.4 缓存的实现流程

数据更新操作流程
写入数据：
- 应用程序尝试将新的数据写入 MySQL 数据库。
写MySQL：
- 如果数据成功写入 MySQL：
  - 程序会继续进行下一步操作，即删除 Redis 中对应的缓存项。
- 如果写入 MySQL 失败：
  - 程序直接返回，表示操作失败，不做进一步处理。
删除Redis对应项：
- 在 MySQL 数据写入成功后，程序会删除 Redis 中与此次写入相关的缓存数据。这一步是为了确保 Redis 缓存中的数据与 MySQL 数据库中的数据保持一致性。
返回：
- 最后，程序将返回操作结果，通知调用方操作的成功与否。
数据读取操作流程

在这里插入图片描述

读取数据请求：

客户端或应用程序发起一个读取数据的请求。

读Redis：

系统首先尝试从 Redis 缓存中读取数据：
如果从 Redis 中读取到了数据，直接返回读取的数据。
如果未能从 Redis 中读取到数据，执行下一步操作。

读MySQL：

当 Redis 中未命中（即缓存中没有请求的数据），系统将回源到 MySQL 数据库进行查询：
如果 MySQL 中也未能获取到相应的数据，则返回“未读取到数据”的状态或相应的错误信息给客户端。
如果 MySQL 查询成功，读取到所需数据。

写Redis：

当从 MySQL 成功读取数据后，系统会将此数据写入到 Redis 中。这样做的目的是为了缓存数据，便于后续相同请求的快速响应。

返回数据：

最终，无论是从 Redis 还是 MySQL 中获取的数据，都会返回给客户端或调用方。

三、Redis的安装

官方下载地址：http://download.redis.io/releases/

3.1Redis的基础环境部署

主机名	IP	角色
redis-node1	172.25.254.14	master
redis-node2	172.25.254.24	slave1
redis-node3	172.25.254.34	slave2

注意：以下案例的实现所有环境都为Rehl9.1

# 配置好以上后，需要将防火墙关闭，以防影响案例的实现
[root@redis-node1 ~]# systemctl stop firewalld.service 
[root@redis-node1 ~]# systemctl mask firewalld.service 
[root@redis-node1 ~]# setenforce 0

3.2rpm包方式安装

[root@redis-node1 ~]# dnf install redis -y
正在更新 Subscription Management 软件仓库。
无法读取客户身份

本系统尚未在权利服务器中注册。可使用 subscription-manager 进行注册。

上次元数据过期检查：0:21:21 前，执行于 2024年08月25日 星期日 22时33分52秒。
依赖关系解决。
=========================================================================================
 软件包             架构                版本                     仓库                    大小
=========================================================================================
安装:
 redis              x86_64              6.2.7-1.el9              Appstream              1.3 M

事务概要
=========================================================================================
安装  1 软件包

总计：1.3 M
安装大小：4.7 M

3.3 源码安装

在官网下载稳定版本的

注意：在一台主机中不能即用rpm安装也用源码安装

1.在官网下载好源码包，传送至linux系统后，进行解压

[root@redis-node1 ~]# tar zxf redis-7.4.0.tar.gz    # 解压源码包
[root@redis-node1 ~]# cd redis-7.4.0/               # 进入解压目录

2.安装编译工具并启动执行编译

# 安装编译工具
[root@redis-node1 redis-7.4.0]# dnf install make gcc initscripts -y

# 执行编译命令
[root@redis-node1 redis-7.4.0]# make   # 进行源码编译
[root@redis-node1 redis-7.4.0]# make install # 进行源码安装

3.启动Redis

# 启动Redis
[root@redis-node1 redis-7.4.0]# cd utils/
[root@redis-node1 utils]# ./install_server.sh 
Welcome to the redis service installer
This script will help you easily set up a running redis server

This systems seems to use systemd.            # 提示系统使用的是systemd的初始化方式
Please take a look at the provided example service unit files in this directory, and adapt and stall them. Sorry!

# 注释以下检测，解决启动报错问题
[root@redis-node1 utils]# vim ./install_server.sh
 76 #bail if this system is managed by systemd
 77 #_pid_1_exe="$(readlink -f /proc/1/exe)"
 78 #if [ "${_pid_1_exe##*/}" = systemd ]
 79 #then
 80 #       echo "This systems seems to use systemd."
 81 #       echo "Please take a look at the provided example service unit files in this direct ory, and adapt and install them. Sorry!"
 82 #       exit 1
 83 #fi

4.重新启动

[root@redis-node1 utils]# ./install_server.sh
Welcome to the redis service installer
This script will help you easily set up a running redis server

Please select the redis port for this instance: [6379]         # 端口号，点击Enter
Selecting default: 6379
Please select the redis config file name [/etc/redis/6379.conf]  # 配置文件，点击Enter
Selected default - /etc/redis/6379.conf
Please select the redis log file name [/var/log/redis_6379.log]   # 日志文件，点击Enter
Selected default - /var/log/redis_6379.log
Please select the data directory for this instance [/var/lib/redis/6379]#数据目录，点击Enter
Selected default - /var/lib/redis/6379
Please select the redis executable path [/usr/local/bin/redis-server]  # 命令路径，点击Enter
Selected config:
Port           : 6379
Config file    : /etc/redis/6379.conf
Log file       : /var/log/redis_6379.log
Data dir       : /var/lib/redis/6379
Executable     : /usr/local/bin/redis-server
Cli Executable : /usr/local/bin/redis-cli
Is this ok? Then press ENTER to go on or Ctrl-C to abort.         # 最后再点击Enter
Copied /tmp/6379.conf => /etc/init.d/redis_6379
Installing service...
Successfully added to chkconfig!
Successfully added to runlevels 345!
Starting Redis server...
Installation successful!      # 启动成功

5.配置redis

 [root@redis-node1 utils]# vim /etc/redis/6379.conf   # 修改配置文件
 89 bind * -::*
 112 # even if no authentication is configured.
 113 protected-mode no      # 关闭身份认证

[root@redis-node1 utils]# /etc/init.d/redis_6379 restart       # 重新启动redis
Stopping ...
Redis stopped
Starting Redis server...

[root@redis-node1 utils]# netstat -antlpe | grep redis    # 查看redis的端口（6379）是否在监听
tcp     0    0 0.0.0.0:6379    0.0.0.0:*     LISTEN    0    79267      46334/redis-server 
tcp6    0    0 :::6379              :::*     LISTEN    0    79268      46334/redis-server

6.测试

# 查看信息
[root@redis-node1 utils]# redis-cli
127.0.0.1:6379> info

3.3.1 其它redis的部署

通过以上rede-node1的安装成功后，可以通过传送编译好的源码包传送到其它redis主机进行安装、配置。

1.# 在redis-node1中传送编译好的源码包
[root@redis-node1 ~]# scp -r redis-7.4.0 root@172.25.254.34:/root

2.# 安装编译工具
[root@redis-node2 ~]# dnf install make gcc initscripts -y

3.# 源码安装
[root@redis-node2 ~]# cd redis-7.4.0/
[root@redis-node2 redis-7.4.0]# make install

4.# 因为传送过来的源码编译包已经配置好，所以这里直接启动redis，不用再处理报错
[root@redis-node2 redis-7.4.0]# cd utils/
[root@redis-node2 utils]# ./install_server.sh 

5.# 但是依旧需要手动修改主配置文件的设置
[root@redis-node1 utils]# vim /etc/redis/6379.conf   # 修改配置文件
 89 bind * -::*
 112 # even if no authentication is configured.
 113 protected-mode no      # 关闭身份认证
 
 6.# 重新启动redis
 [root@redis-node2 utils]#  /etc/init.d/redis_6379 restart 
Stopping ...
Redis stopped
Starting Redis server...

7.# 查看redis的端口（6379）是否在监听
[root@redis-node2 utils]# netstat -antlpe | grep redis
tcp   0   0 0.0.0.0:6379     0.0.0.0:*      LISTEN    0    67801      40927/redis-server 
tcp6  0        0 :::6379          :::*      LISTEN    0    67802      40927/redis-server

其他redes的主机操作也一致

3.3.2 源码安装的Redis服务卸载

[root@redis-node1 ~]# /etc/init.d/redis_6379 stop      # 停止redis服务
[root@redis-node1 ~]# cd redis-7.4.0/                  # 进入编译目录
[root@redis-node1 redis-7.4.0]# make uninstall         # 执行卸载命令
[root@redis-node1 redis-7.4.0]# ps aux | grep redis    # 查看是否还存在redis的进程

四、Redis的基本操作

命令	说明
config get *	查看配置
select 1	选择数据库
flushdb	清空当前数据库
flushall	清空所有数据库
move key 1	移动key
del key	删除
rename oldkey newkey	改名
expire key 10	设置过期时间
persist key	设置持久化
keys user*	查询
exists key	判断是否存在

示例：

1.查看配置

[root@redis-node1 utils]# redis-cli
127.0.0.1:6379> config get bind    # 查看bind的配置
1) "bind"
2) "* -::*"
127.0.0.1:6379> config get *       # 查看所有配置

2.写入和读取数据

127.0.0.1:6379> set name haha    # 设置名字
OK
127.0.0.1:6379> get name         # 查询名字
"haha"

3.查看key值

127.0.0.1:6379> set name haha
OK
127.0.0.1:6379> keys *          # 查看所有key
1) "name"

4.选择数据库，redis中有0-15个数据库

127.0.0.1:6379> select 1
OK
127.0.0.1:6379[1]> get name 
(nil)
127.0.0.1:6379[1]> select 0
OK
127.0.0.1:6379> select 16
(error) ERR DB index is out of range      # 超出选择范围

5.移动数据

127.0.0.1:6379> set name haha     # 设定一个数据
OK
127.0.0.1:6379> move name 1       #  移动数据
(integer) 1
127.0.0.1:6379> get name          # 在本来的库进行查询
(nil)
127.0.0.1:6379> select 1          # 选择到1库
OK
127.0.0.1:6379[1]> get name       # 再重新查询，数据移动
"haha"

6.改变键名

127.0.0.1:6379[1]> rename name id
OK
127.0.0.1:6379[1]> get name
(nil)
127.0.0.1:6379[1]> get id
"haha"

7.设定数据过期时间

127.0.0.1:6379> set name haha ex 5 # 设置过期时间
OK
127.0.0.1:6379> get name
"haha"
127.0.0.1:6379> get name
"haha"
127.0.0.1:6379> get name
"haha"
127.0.0.1:6379> get name
(nil)

# 如果没有设定数据过期时间会一直存在， /var/lib/redis/6379/dump.rdb内存快照中

8.删除

127.0.0.1:6379> set name xixi
OK
127.0.0.1:6379> get name
"xixi"
127.0.0.1:6379> del name
(integer) 1
127.0.0.1:6379> get name
(nil)

9.持久化保存

127.0.0.1:6379> persist name
(integer) 0

10.判断key是否存在

127.0.0.1:6379> exists name
(integer) 1
127.0.0.1:6379> exists lee
(integer) 0

11.清空当前库

127.0.0.1:6379> flushdb
OK
127.0.0.1:6379> get name
(nil)

12.清空所有库

127.0.0.1:6379> flushall
ok

13.退出数据库

127.0.0.1:6379> quit
[root@redis-node1 ~]#

五、Readis的主从复制

5.2主从同步过程

在这里插入图片描述

slave节点发送同步亲求到master节点
slave节点通过master节点的认证开始进行同步
master节点会开启bgsave进程发送内存rbd到slave节点，在此过程中是异步操作，也就是说master节点仍然可以进行写入动作
slave节点收到rdb后首先清空自己的所有数据
slave节点加载rdb并进行数据恢复
在master和slave同步过程中master还会开启新的bgsave进程把没有同步的数据进行缓存
然后通过自有的replactionfeedslave函数把未通过内存快照发动到slave的数据一条一条写入到slave中

5.2配置主从同步

1.修改master

[root@redis-node1 & node2 & node3 ~]# vim /etc/redis/6379.conf
protected-mode no #关闭protected模式

[root@redis-node1 &node2 & node3 ~]# /etc/init.d/redis_6379 restart
Stopping ...
Redis stopped
Starting Redis server...

2.配置Slave节点

[root@redis-node2 & 3 ~]# vim /etc/redis/6379.conf
replicaof 172.25.254.14 6379
[root@redis-node2 & 3 ~]# /etc/init.d/redis_6379 restart
Stopping ...
Waiting for Redis to shutdown ...
Redis stopped
Starting Redis server...

3.测试效果

# 在master中写入数据
[root@redis-node1 ~]#  redis-cli
127.0.0.1:6379> set name haha
OK
# 在slave进行查看
[root@redis-node2 utils]# redis-cli
127.0.0.1:6379> get name
"haha"

六、Redis的高可用（哨兵模式）

6.1Redis哨兵模式

在这里插入图片描述

Sentinel 进程是用于监控redis集群中Master主服务器工作的状态，在Master主服务器发生故障的时候，可以实现Master和Slave服务器的切换，保证系统的高可用，此功能在redis2.6+的版本已引用，Redis的哨兵模式到了2.8版本之后就稳定了下来。一般在生产环境也建议使用Redis的2.8版本的以后版本
每个哨兵(Sentinel)进程会向其它哨兵(Sentinel)、Master、Slave定时发送消息，以确认对方是否”活”着，如果发现对方在指定配置时间(此项可配置)内未得到回应，则暂时认为对方已离线，也就是所谓的”主观认为宕机” (主观:是每个成员都具有的独自的而且可能相同也可能不同的意识)，英文名称：Subjective Down，简称SDOWN
有主观宕机，对应的有客观宕机。当“哨兵群”中的多数Sentinel进程在对Master主服务器做出SDOWN 的判断，并且通过 SENTINEL is-master-down-by-addr 命令互相交流之后，得出的Master Server下线判断，这种方式就是“客观宕机”(客观:是不依赖于某种意识而已经实际存在的一切事物)，英文名称是：Objectively Down，简称 ODOWN
通过一定的vote算法，从剩下的slave从服务器节点中，选一台提升为Master服务器节点，然后自动修改相关配置，并开启故障转移（failover）
Sentinel 机制可以解决master和slave角色的自动切换问题，但单个 Master 的性能瓶颈问题无法解决,类似于MySQL中的MHA功能
Redis Sentinel中的Sentinel节点个数应该为大于等于3且最好为奇数

sentinel中的三个定时任务

每10秒每个sentinel对master和slave执行info
- 发现slave节点
- 确认主从关系
每2秒每个sentinel通过master节点的channel交换信息(pub/sub)
- 通过sentinel__:hello频道交互
- 交互对节点的“看法”和自身信息
每1秒每个sentinel对其他sentinel和redis执行pi

6.2Redis的哨兵模式部署

注意：在所有阶段中关闭 protected-mode no

1.配置master

# 编辑配置文件
[root@redis-node1 ~]# cd redis-7.4.0/
[root@redis-node1 redis-7.4.0]# cp sentinel.conf /etc/redis/                   
[root@redis-node1 redis-7.4.0]# vim /etc/redis/sentinel.conf
protected-mode no       			# 关闭保护模式
port 26379 							# 监听端口
daemonize no 						# 进入不打如后台
pidfile /var/run/redis-sentinel.pid # sentinel进程pid文件
loglevel notice 					# 日志级别
sentinel monitor mymaster 172.25.254.100 6379 2 # 创建sentinel监控监控master主
机，2表示必须得到2票
sentinel down-after-milliseconds mymaster 10000 # master中断时长，10秒连不上视为master下线
sentinel parallel-syncs mymaster 1 	# 发生故障转移后，同时开始同步新master数据的slave数量
sentinel failover-timeout mymaster 180000 # 整个故障切换的超时时间为3分钟

[root@redis-node1 redis-7.4.0]# cp /etc/redis/sentinel.conf /etc/redis/sentinel.conf.bak              # 对修改好的配置文件进行备份，因为在后面进行哨兵的启用后会修改配置文件，以防出现问题，将其进行备份。

2.在master复制配置文件到其他阶段

[root@redis-node1 redis]# scp sentinel.conf root@172.25.254.24:/etc/redis/     
[root@redis-node1 redis]# scp sentinel.conf root@172.25.254.34:/etc/redis/

3.启动redis-sentinel

一主两从的服务都要启动

在这里插入图片描述

/etc/redis/sentinel.conf 文件在用哨兵程序调用后会更改其配置文件，如果需要重新做需要删掉文件重新编辑

4.测试

刚启动时

在这里插入图片描述

模拟故障

# 复制一个master会话窗口
[root@redis-node1 ~]# redis-cli
127.0.0.1:6379> shutdown              # 关闭redis服务
(0.82s)
not connected>

再次查询

在这里插入图片描述

6.3 Redis哨兵模式会存在的问题以及解决方案

问题

在生产环境中如果master和slave中的网络出现故障，由于哨兵的存在会把master提出去当网络恢复后，master发现环境发生改变，master就会把自己的身份转换成slavemaster变成slave后会把网络故障那段时间写入自己中的数据清掉，这样数据就丢失了。
解决方案
master在被写入数据时会持续连接slave，mater确保有2个slave可以写入我才允许写入，如果slave数量少于2个便拒绝写入

# 在master中进行设定
[root@redis-node1 ~]# redis-cli
127.0.0.1:6379> CONFIG GET min-slaves-to-write
1) "min-slaves-to-write"
2) "0"
127.0.0.1:6379> CONFIG set min-slaves-to-write 2
OK
127.0.0.1:6379>  CONFIG GET min-slaves-to-write
1) "min-slaves-to-write"
2) "2"
127.0.0.1:6379>
# 以上为临时设定，若想永久设定可以在/etc/redis/6379.conf中进行设定

# 永久设定
[root@redis-node1 ~]# vim /etc/redis/6379.conf 
 113 # even if no authentication is configured.
 114 protected-mode no
 115 min-slaves-to-write 2         # 写入设定的slave数量
[root@redis-node1 ~]# /etc/init.d/redis_6379 restart

一瓶橘子罐头

关注

11
点赞
踩
11

收藏

觉得还不错? 一键收藏
0
评论
NoSQL数据库-Redis集群详解及案例实现

关系型数据库和 NoSQL 数据库，Redis简介，，Redis的安装，Redis的基本操作，Readis的主从复制，Redis的高可用（哨兵模式）
复制链接

扫一扫

	关系型数据库	NoSQL数据库
特点	数据关系基于关系模型，结构化存储，完整性约束基于二维表及之间的联系，需要连接，并、交、差、除等数据操作采用结构化的查询语言(SQL)做数据读写操作需要数据的一致性，需要事务甚至是强一致性	非结构化的存储基于多维关系模型具有特有的使用场景
优点	保持数据的一致性（事务处理）可以进行join等复杂查询通用化，技术成熟	高并发，大数据下读写能力较强支持分布式，易于扩展，可伸缩简单，弱结构化存储
缺点	数据读写必须经过SQL分析，大量数据，高并发下读写性能不足对数据做读写或者修改数据结构时需要加锁，影响并发操作无法适应非结构化存储扩展困难昂贵、复杂	join等复杂操作能力较弱事务支持较弱通用性差无完整约束，复杂业务场景支持较差

NoSQL数据库-Redis集群详解及案例实现

一、 关系型数据库和 NoSQL 数据库

1.1 数据库主要分为两大类：关系型数据库与 NoSQL 数据库

1.2 RDBMS和NOSQL的特点及优缺点

二、Redis简介

2.1 Redis介绍

2.2 Redis特性

2.3 Redis应用场景

2.4 缓存的实现流程

三、Redis的安装

3.1Redis的基础环境部署

3.2rpm包方式安装

3.3 源码安装

3.3.1 其它redis的部署

3.3.2 源码安装的Redis服务卸载

四、Redis的基本操作

五、Readis的主从复制

5.2主从同步过程

5.2配置主从同步

六、Redis的高可用（哨兵模式）

6.1Redis哨兵模式

6.2Redis的哨兵模式部署

6.3 Redis哨兵模式会存在的问题以及解决方案

一、关系型数据库和 NoSQL 数据库