企业级NoSql数据库Redis集群

HoweWWW

已于 2024-08-26 22:55:07 修改

阅读量941

点赞数 9

文章标签： nosql redis 数据库

于 2024-08-26 22:50:48 首次发布

本文链接：https://blog.csdn.net/howewww/article/details/141573677

版权

一关系型数据库和 NoSQL 数据库

1.2 RDBMS和NOSQL的特点及优缺点

二 Remote Dictionary Server 简介

七 Redis Cluster（无中心化设计）

7.1 Redis Cluster 工作原理

7.2 创建redis cluster的前提

7.3 部署redis cluster（三主三从）

7.4 redis-cli --cluster 参数说明

7.5. 创建redis-cluster

7.6 集群扩容（四主四从）

7.7 clsuter集群维护

一关系型数据库和 NoSQL 数据库

1.1 数据库主要分为两大类

关系型数据库 是建立在关系模型基础上的数据库，其借助于集合代数等数学概念和方法来处理数据库中的数据主流的 MySQL、Oracle、MS SQL Server 和 DB2 都属于这类传统数据库。：关系型数据库与 NoSQL 数据库

NoSQL 数据库 全称为 Not Only SQL，意思就是适用关系型数据库的时候就使用关系型数据库，不适用的时候也没有必要非使用关系型数据库不可，可以考虑使用更加合适的数据存储。主要分为临时性键值存储（memcached、Redis）、永久性键值存储（ROMA、Redis）、面向文档的数据库（MongoDB、CouchDB）、面向列的数据库（Cassandra、HBase），每种 NoSQL 都有其特有的使用场景及优点。

1.2 RDBMS和NOSQL的特点及优缺点

	关系型数据库	NoSQL数据库
特点	数据关系模型基于关系模型，结构化存储，完整性约束基于二维表及其之间的联系，需要连接、并、交、差、除等数据操作采用结构化的查询语言(SQL)做数据读写操作需要数据的一致性，需要事务甚至是强一致性	非结构化的存储基于多维关系模型具有特有的便用场景
优点	保持数据的一致性(事务处理) 可以进行 join 等复杂查询通用化，技术成熟	高并发，大数据下读写能力较强基本支持分布式，易于扩展，可伸缩简单，弱结构化存储
缺点	数据读写必须经过 sql解析，大量数据、高并发下读写性能不足对数据做读写，或修改数据结构时需要加锁，影响并发操作无法适应非结构化存储扩展困难昂贵、复杂	join 等复杂操作能力较弱事务支持较弱通用性差无完整约束复杂业务场景支持较差

二 Remote Dictionary Server 简介

2.1 什么是redis

Redis (Remote Dictionary Server)

在2009年发布，开发者是意大利的萨尔瓦多·桑菲利波普（Salvatore Sanfilippo），他本想为自己的公司开发一个用于替换MySQL的产品Redis，但是没有想到他把Redis开源后大受欢迎，短短几年，Redis就有了很大的用户群体，目前国内外使用的公司众多,比如:阿里,百度,新浪微博,知乎网,GitHub,Twitter 等 Redis是一个开源的、遵循BSD协议的、基于内存的而且目前比较流行的键值数据库(key-value database)，是一个非关系型数据库，redis 提供将内存通过网络远程共享的一种服务，提供类似功能的还有memcached，但相比memcached，redis还提供了易扩展、高性能、具备数据持久性等功能。 Redis 在高并发、低延迟环境要求比较高的环境使用量非常广泛

2.2 Redis特性

速度快: 10W QPS,基于内存,C语言实现
单线程
持久化
支持多种数据结构
支持多种编程语言
功能丰富: 支持Lua脚本,发布订阅,事务,pipeline等功能
简单: 代码短小精悍(单机核心代码只有23000行左右),单线程开发容易,不依赖外部库,使用简单
主从复制
支持高可用和分布式

单线程为何如此快?

纯内存
非阻塞
避免线程切换和竞态消耗

2.3 Redis应用场景

Session 共享：常见于web集群中的Tomcat或者PHP中多web服务器session共享
缓存：数据查询、电商网站商品信息、新闻内容
计数器：访问排行榜、商品浏览数等和次数相关的数值统计场景
微博/微信社交场合：共同好友,粉丝数,关注,点赞评论等
消息队列：ELK的日志缓存、部分业务的订阅发布系统
地理位置: 基于GEO(地理信息定位),实现摇一摇,附近的人,外卖等功能

2.4 缓存的实现流程

数据更新操作流程

数据读操作流程

三 Redis的安装

官方下载地址：http://download.redis.io/releases/

3.1 rpm包方式安装

dnf install redis -y

3.2 源码安装

Warning

在一台主机中不能即用rpm安装也用源码安装

#解压源码包
[root@redis-node1 ~]# tar zxf redis-7.4.0.tar.gz

#安装编译工具
[root@redis-node1 ~]# dnf install make gcc initscripts-10.11.6-1.el9.x86_64 -y

#执行编译命令
[root@redis-node1 redis-7.4.0]# make
[root@redis-node1 redis-7.4.0]# make install

#启动Redis
[root@redis-node1 redis-7.4.0]# cd utils/
#解决报错
[root@redis-node1 utils]# vim install_server.sh
...
#bail if this system is managed by systemd
#_pid_1_exe="$(readlink -f /proc/1/exe)"
#if [ "${_pid_1_exe##*/}" = systemd ]
#then
#       echo "This systems seems to use systemd."
#       echo "Please take a look at the provided example service unit files in 
this directory, and adapt and install them. Sorry!"
#       exit 1
#fi
...

再次启动
[root@redis-node1 utils]# ./install_server.sh 
#一路回车


#配置redis
[root@redis-node1 utils]# vim /etc/redis/6379.conf 
  89 bind * -::*
[root@redis-node1 utils]# /etc/init.d/redis_6379 restart
Stopping ...
Redis stopped
Starting Redis server...
[root@redis-node1 utils]# netstat -antlupe | grep redis
tcp        0      0 0.0.0.0:6379            0.0.0.0:*               LISTEN      0          36936      7919/redis-server * 
tcp6       0      0 :::6379                 :::*                    LISTEN      0          36937      7919/redis-server * 

#查看信息
[root@redis-node1 utils]# redis-cli
127.0.0.1:6379> info

=================================================
#配置其他node
[root@redis-node1 ~]# cd /usr/local/bin/

[root@redis-node1 bin]# rsync -al * root@172.25.250.20:/usr/local/bin
[root@redis-node1 bin]# rsync -al * root@172.25.250.30:/usr/local/bin

[root@redis-node1 ~]# scp -r redis-7.4.0 root@172.25.250.20:/root
[root@redis-node1 ~]# scp -r redis-7.4.0 root@172.25.250.30:/root

四 Redis的基本操作

命令参数	作用
config get *	查看配置
select 1	选择数据库
flushdb	清空当前数据库
flushall	清空所有数据库
move key 1	移动key
del key	删除
rename oldket newkey	改名
expire key 10	设置过期时间
persist key	设置持久化
keys user*	查询
exists key	判断是否存在

五 Redis 主从复制

5.1 环境配置

node	角色	IP
redis-node1	master	172.25.250.10
redis-node2	slave	172.25.250.20
redis-node3	slave	172.25.250.30

Note：在配置多台redis时建议用复制的方式节省编译时间

5.2 配置主从同步

1.修改mastser节点的配置文件

#全部关闭protected模式
[root@redis-node1 & node2 & node3 ~]# vim /etc/redis/6379.conf
[root@redis-node1 ~]# /etc/init.d/redis_6379 restart
Stopping ...
Redis stopped
Starting Redis server...

2.配置slave节点

[root@redis-node2,3 ~]# vim /etc/redis/6379.conf 
[root@redis-node2,3 ~]# /etc/init.d/redis_6379 restart
Stopping ...
Redis stopped
Starting Redis server...

测试

[root@redis-node1 ~]# redis-cli
127.0.0.1:6379> set name howe
OK
127.0.0.1:6379> 

[root@redis-node2 utils]# redis-cli 
127.0.0.1:6379> get name
"howe"
127.0.0.1:6379>

5.3 主从同步过程

slave节点发送同步亲求到master节点
slave节点通过master节点的认证开始进行同步
master节点会开启bgsave进程发送内存rbd到slave节点，在此过程中是异步操作，也就是说master节点仍然可以进行写入动作
slave节点收到rdb后首先清空自己的所有数据
slave节点加载rdb并进行数据恢复
在master和slave同步过程中master还会开启新的bgsave进程把没有同步的数据进行缓存
然后通过自有的replactionfeedslave函数把未通过内存快照发动到slave的数据一条一条写入到slave中

六 Redis的哨兵（高可用）

实现一主两从

6.1 Redis哨兵

Redis 哨兵（Sentinel）是 Redis 高可用解决方案的重要组成部分

一、主要功能

1、监控

哨兵持续监控 Redis 主从服务器的运行状态。它会定期向主从服务器发送 PING 命令来检查它们是否在线，并收集有关服务器的各种信息，如响应时间、内存使用情况等。
如果发现某个服务器出现问题，哨兵会立即发出警报并采取相应的措施。

2、自动故障转移

当主服务器不可用时，哨兵会自动发起故障转移流程。它会从从服务器中选择一个最合适的服务器提升为新的主服务器，以确保 Redis 服务的持续可用性。
这个过程是自动进行的，无需人工干预，能够在短时间内完成故障转移，减少服务中断时间。

3、配置管理

哨兵负责维护 Redis 集群的配置信息。它会自动发现新加入的从服务器，并将其配置信息更新到整个集群中。
同时，哨兵也会确保主从服务器的配置一致，以保证复制的正确性。

sentinel中的三个定时任务

1、每10秒每个sentinel对master和slave执行info

发现slave节点
确认主从关系

2、每2秒每个sentinel通过master节点的channel交换信息(pub/sub)

通过sentinel__:hello频道交互
交互对节点的“看法”和自身信息

3、每1秒每个sentinel对其他sentinel和redis执行pi

6.2 哨兵的实验过程

在所有阶段中关闭 protected-mode no

1.在master节点中

#编辑配置文件
[root@redis-node1 ~]# cd redis-7.4.0/
[root@redis-node1 redis-7.4.0]# cp sentinel.conf /etc/redis/
[root@redis-node1 redis]#  vim /etc/redis/sentinel.conf
protected-mode no                       #关闭保护模式
port 6379                               #监听端口
daemonize no                            #进入不打如后台
pidfile /var/run/redis-sentinel.pid     #sentinel进程pid文件
loglevel notice                         #日志级别
sentinel monitor mymaster 172.25.254.10 6379 2     #创建sentinel监控监控master主机，2表示必须得到2票
sentinel down-after-milliseconds mymaster 10000     #master中断时长，10秒连不上视为
master下线
sentinel parallel-syncs mymaster 1     #发生故障转移后，同时开始同步新master数据的slave数量
sentinel failover-timeout mymaster 180000     #整个故障切换的超时时间为3分钟


#备份
[root@redis-node1 redis]# cp sentinel.conf sentinel.conf.bak


##配置其他node
[root@redis-node1 redis]# scp /etc/redis/sentinel.conf root@172.25.250.20:/etc/redis/
[root@redis-node1 redis]# scp /etc/redis/sentinel.conf root@172.25.250.30:/etc/redis/

2 启动服务

#启动服务
[root@redis-node1 redis-7.4.0]# redis-sentinel /etc/redis/sentinel.conf

Warning

/etc/redis/sentinel.conf 文件在用哨兵程序调用后会更改其配置文件，如果需要重新做需要删掉文件重新编辑

3 测试

停掉node1 会重新选择master

[root@redis-node1 ~]# cd /etc/redis
[root@redis-node1 redis]# redis-cli 
127.0.0.1:6379> SHUTDOWN
(0.80s)
not connected>

此时选择了node2作为master

在node2中查看

127.0.0.1:6379> info replication
# Replication
role:master
connected_slaves:1
slave0:ip=172.25.250.30,port=6379,state=online,offset=16902,lag=0
master_failover_state:no-failover
master_replid:eec2816ef60249d02d5e691547c9331f22787bb0
master_replid2:f5f3d270ebf14444039f1ed55433a17c2b6ecb81
master_repl_offset:16902
second_repl_offset:7800
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:15
repl_backlog_histlen:16888
127.0.0.1:6379>

再使node1重新上线

[root@redis-node1 redis]# /etc/init.d/redis_6379 start 
Starting Redis server...

这时master又回到了node1

6.3. 在整个架构中可能会出现的问题

问题：
在生产环境中如果master和slave中的网络出现故障，由于哨兵的存在会把master提出去
当网络恢复后，master发现环境发生改变，master就会把自己的身份转换成slave
master变成slave后会把网络故障那段时间写入自己中的数据清掉，这样数据就丢失了。

解决：
master在被写入数据时会持续连接slave，mater确保有2个slave可以写入我才允许写入
如果slave数量少于2个便拒绝写入

#在master设定
[root@redis-node1 ~]# redis-cli
127.0.0.1:6379> CONFIG GET min-slaves-to-write
1) "min-slaves-to-write"
2) "0"
127.0.0.1:6379> CONFIG set min-slaves-to-write 2
OK
#slave
127.0.0.1:6379> CONFIG GET min-slaves-to-write
1) "min-slaves-to-write"
2) "2"


#永久配置
[root@redis-node1 redis]# vim /etc/redis/6379.conf

七 Redis Cluster（无中心化设计）

7.1 Redis Cluster 工作原理

在哨兵sentinel机制中，可以解决redis高可用问题，即当master故障后可以自动将slave提升为master，从而可以保证redis服务的正常使用，但是无法解决redis单机写入的瓶颈问题，即单机redis写入性能受限于单机的内存大小、并发数量、网卡速率等因素。

redis 3.0版本之后推出了无中心架构的redis cluster机制，在无中心的redis集群当中，其每个节点保存当前节点数据和整个集群状态,每个节点都和其他所有节点连接

Redis Cluster特点如下

1. 所有Redis节点使用(PING机制)互联
2. 集群中某个节点的是否失效，是由整个集群中超过半数的节点监测都失效，才能算真正的失效
3. 客户端不需要proxy即可直接连接redis，应用程序中需要配置有全部的redis服务器IP
4. redis cluster把所有的redis node 平均映射到 0-16383个槽位(slot)上，读写需要到指定的redis node上进行操作，因此有多少个redis node相当于redis 并发扩展了多少倍，每个redis node 承担
16384/N个槽位
5. Redis cluster预先分配16384个(slot)槽位，当需要在redis集群中写入一个key -value的时候，会使用CRC16(key) mod 16384之后的值，决定将key写入值哪一个槽位从而决定写入哪一个Redis节点上，从而有效解决单机瓶颈。

Redis cluster 架构

7.2 创建redis cluster的前提

1.每个redis node节点采用相同的硬件配置、相同的密码、相同的redis版本。

2.每个节点必须开启的参数

cluster-enabled yes #必须开启集群状态，开启后redis进程会有cluster显示
cluster-config-file nodes-6380.conf #此文件有redis cluster集群自动创建和维护，不需要任何手动操作

3.所有redis服务器必须没有任何数据

4.先启动为单机redis且没有任何key value

7.3 部署redis cluster（三主三从）

实验环境准备

node	IP	角色
redis-node1	172.25.254.10	master
redis-node2	172.25.254.20	master
redis-node3	172.25.254.30	master
redis-node110	172.25.254.110	slave
redis-node120	172.25.254.120	slave
redis-node130	172.25.254.130	slave

先卸载原来的redis
[root@redis-node1 redis-7.4.0]# make uninstall

[root@redis-node1 redis-7.4.0]# killall -9 redis-server
[root@redis-node1 redis-7.4.0]# make uninstall
[root@redis-node1 redis-7.4.0]# /etc/init.d/redis_6379 start 
/var/run/redis_6379.pid exists, process is already running or crashed

在所有redis主机中

#在所有redis主机中
dnf install redis -y

#编辑配置文件
[root@redis-node1 ~]# vim /etc/redis/redis.conf
75 bind * -::*
486 masterauth "123456"         #集群主从认证
903 requirepass "123456"		#redis密码    redis-cli 命令连接redis后要
用“auth 密码”进行认证

1387 cluster-enabled yes                    #开启cluster集群功能
1395 cluster-config-file nodes-6379.conf    #指定集群配置文件
1401 cluster-node-timeout 15000             #节点加入集群的超时时间单位是ms

[root@redis-node1 ~]# systemctl enable --now redis
Created symlink /etc/systemd/system/multi-user.target.wants/redis.service → /usr/lib/systemd/system/redis.service.
[root@redis-node1 ~]# systemctl restart redis

#配置其他 三主三从
[root@redis-node1 ~]# for i in 20 30 110 120 130 
> do 
> scp /etc/redis/redis.conf root@172.25.250.$i:/etc/redis/redis.conf 
> done

[root@redis-node1 ~]# netstat -antlupe | grep 6379

7.4 redis-cli --cluster 参数说明

[root@redis-node1 ~]# redis-cli --cluster help
Cluster Manager Commands:
 create         host1:port1 ... hostN:portN #创建集群
                 --cluster-replicas <arg> #指定master的副本数
 check         <host:port> or <host> <port> #检测集群信息
 info           <host:port> or <host> <port> #查看集群信息
 fix           <host:port> or <host> <port> #修复集群
 reshard       <host:port> or <host> <port> #在线热迁移集群指定主机的slots数据
          
 rebalance     <host:port> or <host> <port> #平衡各集群主机的slot数量
       
 add-node       new_host:new_port existing_host:existing_port #添加主机
 del-node       host:port node_id #删除主机
 import         host:port #导入外部redis服务器的数据到
当前集群

7.5. 创建redis-cluster

#创建cluster
[root@redis-node1 ~]# redis-cli --cluster create -a 123456 \
> 172.25.250.10:6379 172.25.250.20:6379 172.25.250.30:6379 \
> 172.25.250.110:6379 172.25.250.120:6379 172.25.250.130:6379 \
> --cluster-replicas 1

检测redis集群状态

M为master S为slave

写入数据

#hash槽位_node2
127.0.0.1:6379> set name howe
(error) MOVED 5798 172.25.250.20:6379    #被分配到20的hash槽位上 

#只有在node2上写入才有效
[root@redis-node2 ~]# redis-cli -a 123456
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
127.0.0.1:6379> set name howe
OK 
127.0.0.1:6379> get name
"howe"
127.0.0.1:6379>

7.6 集群扩容（四主四从）

实验环境添加两台主机一台主一台从

node	IP	角色
redis-node5	172.25.250.50	master
redis-node150	172.25.250.150	slave

1、配置redis 同上

dnf install redis -y

#复制配置文件
scp /etc/redis/redis.conf root@172.25.250.50:/etc/redis/redis.conf
scp /etc/redis/redis.conf root@172.25.250.150:/etc/redis/redis.conf
[root@redis-node150 ~]# systemctl start redis

2、添加master

#添加master
[root@redis-node1 ~]# redis-cli -a 123456 --cluster add-node 172.25.250.50:6379 172.25.250.10:6379

M: c5661250ccb21b9b345c732134f97763e9805f9d 172.25.250.50:6379
   slots: (0 slots) master        #添加后槽位为0 

#检测集群
redis-cli -a 123456 --cluster check 172.25.250.10:6379

3、分享master槽位

#分享槽位
[root@redis-node1 ~]#  redis-cli -a 123456 --cluster reshard 172.25.250.10:6379
How many slots do you want to move (from 1 to 16384)? 4096	#
What is the receiving node ID? c5661250ccb21b9b345c732134f97763e9805f9d
Please enter all the source node IDs.
  Type 'all' to use all the nodes as source nodes for the hash slots.
  Type 'done' once you entered all the source nodes IDs.
Source node #1: all 
Do you want to proceed with the proposed reshard plan (yes/no)? yes

#检测集群
redis-cli -a 123456 --cluster check 172.25.250.10:6379

M: c5661250ccb21b9b345c732134f97763e9805f9d 172.25.250.50:6379
   slots:[0-1364],[5461-6826],[10923-12287] (4096 slots) master    分享后的槽位

4、添加slave

#添加slave
[root@redis-node1 ~]# redis-cli -a 123456 --cluster add-node 172.25.250.150:6379 172.25.250.10:6379 --cluster-slave --cluster-master-id c5661250ccb21b9b345c732134f97763e9805f9d  			#master-ID

7.7 clsuter集群维护

添加节点的时候是先添加node节点到集群，然后分配槽位，删除节点的操作与添加节点的操作正好相反，是先将被删除的Redis node上的槽位迁移到集群中的其他Redis node节点上，然后再将其删除，如果一个Redis node节点上的槽位没有被完全迁移，删除该node的时候会提示有数据且无法删除。

#移除要下线主机的哈希槽位
移除slave
[root@redis-node2 ~]# redis-cli -a 123456 --cluster del-node 172.25.250.150:6379 e9ec0a4c28df39eb0e006c9e158d380c3c2df780 

redis-cli -a 123456 --cluster check 172.25.250.20:6379

#分配槽位
[root@redis-node2 ~]# redis-cli -a 123456 --cluster reshard 172.25.250.20:6379
How many slots do you want to move (from 1 to 16384)? 4096

What is the receiving node ID? e03b9b8ca0852392059b9b675b49d7de9fe31612 #10ID

#把50的槽位往10上牵
Source node #1: c5661250ccb21b9b345c732134f97763e9805f9d
Source node #2: done

check
redis-cli -a 123456 --cluster check 172.25.250.10:6379


50没槽位了 可以删掉
[root@redis-node2 ~]# redis-cli -a 123456 --cluster del-node 172.25.250.50:6379 c5661250ccb21b9b345c732134f97763e9805f9d
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
>>> Removing node c5661250ccb21b9b345c732134f97763e9805f9d from cluster 172.25.250.50:6379
>>> Sending CLUSTER FORGET messages to the cluster...
>>> Sending CLUSTER RESET SOFT to the deleted node.

最后检测可以看到恢复到了三主三从

HoweWWW

关注

9
点赞
踩
25

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

	关系型数据库	NoSQL数据库
特点	数据关系模型基于关系模型，结构化存储，完整性约束基于二维表及其之间的联系，需要连接、并、交、差、除等数据操作采用结构化的查询语言(SQL)做数据读写操作需要数据的一致性，需要事务甚至是强一致性	非结构化的存储基于多维关系模型具有特有的便用场景
优点	保持数据的一致性(事务处理) 可以进行 join 等复杂查询通用化，技术成熟	高并发，大数据下读写能力较强基本支持分布式，易于扩展，可伸缩简单，弱结构化存储
缺点	数据读写必须经过 sql解析，大量数据、高并发下读写性能不足对数据做读写，或修改数据结构时需要加锁，影响并发操作无法适应非结构化存储扩展困难昂贵、复杂	join 等复杂操作能力较弱事务支持较弱通用性差无完整约束复杂业务场景支持较差

企业级NoSql数据库Redis集群

一 关系型数据库和 NoSQL 数据库

1.2 RDBMS和NOSQL的特点及优缺点

二 Remote Dictionary Server 简介

2.1 什么是redis

2.2 Redis特性

2.3 Redis应用场景

2.4 缓存的实现流程

三 Redis的安装

3.1 rpm包方式安装

3.2 源码安装

四 Redis的基本操作

五 Redis 主从复制

5.1 环境配置

5.2 配置主从同步

5.3 主从同步过程

六 Redis的哨兵（高可用）

6.1 Redis哨兵

6.2 哨兵的实验过程

6.3. 在整个架构中可能会出现的问题

七 Redis Cluster（无中心化设计）

7.1 Redis Cluster 工作原理

7.2 创建redis cluster的前提

7.3 部署redis cluster（三主三从）

7.4 redis-cli --cluster 参数说明

7.5. 创建redis-cluster

7.6 集群扩容（四主四从）

7.7 clsuter集群维护

一关系型数据库和 NoSQL 数据库