企业级NoSql数据库Redis集群

最新推荐文章于 2024-10-06 00:07:08 发布

独幽鎏煌

最新推荐文章于 2024-10-06 00:07:08 发布

阅读量810

点赞数 14

文章标签： nosql redis 数据库

本文链接：https://blog.csdn.net/L234412/article/details/141691162

版权

一关系型数据库和 NoSQL 数据库

1.1 数据库主要分为两大类：关系型数据库与 NoSQL 数据库

关系型数据库 ，是建立在关系模型基础上的数据库，其借助于集合代数等数学概念和方法来处理数据库中的数据主流的 MySQL 、 Oracle 、 MS SQL Server 和 DB2 都属于这类传统数据库。

NoSQL 数据库 ，全称为 Not Only SQL ，意思就是适用关系型数据库的时候就使用关系型数据库，不适用的时候也没有必要非使用关系型数据库不可，可以考虑使用更加合适的数据存储。主要分为临时性键值存储（memcached、 Redis ）、永久性键值存储（ ROMA 、 Redis ）、面向文档的数据库（MongoDB 、 CouchDB ）、面向列的数据库（ Cassandra 、 HBase ），每种 NoSQL 都有其特有的使用场景及优点

1.2 为什么还要用 NoSQL 数据库呢？

主要是由于随着互联网发展，数据量越来越大，对性能要求越来越高，传统数据库存在着先天性的缺陷，即单机（单库）性能瓶颈，并且扩展困难。这样既有单机单库瓶颈，却又扩展困难，自然无法满足日益增长的海量数据存储及其性能要求，所以才会出现了各种不同的 NoSQL 产品， NoSQL 根本性的优势在于在云计算时代，简单、易于大规模分布式扩展，并且读写性能非常高

二 Remote Dictionary Server 简介

2.1 什么是redis

Redis 是一个开源的、遵循 BSD 协议的、基于内存的而且目前比较流行的键值数据库 (key-value database)，是一个非关系型数据库， redis 提供将内存通过网络远程共享的一种服务，提供类似功能的还有memcached ，但相比 memcached ， redis 还提供了易扩展、高性能、具备数据持久性等功能。 Redis 在高并发、低延迟环境要求比较高的环境使用量非常广泛

2.2 Redis特性

速度快: 10W QPS,基于内存,C语言实现
单线程
持久化
支持多种数据结构
支持多种编程语言
功能丰富: 支持Lua脚本,发布订阅,事务,pipeline等功能
简单: 代码短小精悍(单机核心代码只有23000行左右),单线程开发容易,不依赖外部库,使用简单
主从复制
支持高可用和分布式

2.3 Redis应用场景

Session 共享：常见于web集群中的Tomcat或者PHP中多web服务器session共享
缓存：数据查询、电商网站商品信息、新闻内容
计数器：访问排行榜、商品浏览数等和次数相关的数值统计场景
微博/微信社交场合：共同好友,粉丝数,关注,点赞评论等
消息队列：ELK的日志缓存、部分业务的订阅发布系统
地理位置: 基于GEO(地理信息定位),实现摇一摇,附近的人,外卖等功能

2.4 缓存的实现流程

三 Redis的安装

3.1 源码安装

[ root@redis-node1 ~]# tar zxf redis-7.4.0.tar.gz

[root@redis-node1 ~]# ls

redis-7.4.0 redis-7.4.0.tar.gz

#安装编译工具

[root@redis-node1 redis-7.4.0]# dnf install make gcc initscripts-10.11.6-

1.el9.x86_64 -y

编译和安装

[root@redis-node1 redis-7.4.0]# make

[root@redis-node1 redis-7.4.0]# make install

3.2启动Redis

3.3 配置redis

[root@redis-node1 utils]# vim /etc/redis/6379.conf
bind * -::*
[root@redis-node1 utils]# /etc/init.d/redis_6379 restart
Stopping ...
Redis stopped
Starting Redis server.

四 Redis的基本操作

示例：

#写入和读取数据

127.0.0.1:6379> SET name lee

OK

127.0.0.1:6379> GET name

"lee"

127.0.0.1:6379> set name lee ex 5

OK

127.0.0.1:6379> get name

"lee"

127.0.0.1:6379> get name

"lee"

127.0.0.1:6379> get name

"lee"

127.0.0.1:6379> get name

"lee"

127.0.0.1:6379> get name

(nil)

#如果没有设定数据过期时间会一直存在， /var/lib/redis/6379/dump.rdb内存快照中

127.0.0.1:6379> set name lee

OK

127.0.0.1:6379> KEYS * #查看所有key1) "name"

#选择数据库 redisa中有0-15个数据库

127.0.0.1:6379> select 1

OK

127.0.0.1:6379[1]> get name

(nil)

127.0.0.1:6379> select 0

127.0.0.1:6379[1]> select 16

(error) ERR DB index is out of range

#移动数据

127.0.0.1:6379> set name lee

OK

127.0.0.1:6379> MOVE name 1

(integer) 1

127.0.0.1:6379> GET name

(nil)

127.0.0.1:6379> select 1

OK

127.0.0.1:6379[1]> get name

"lee"

#改变键名

127.0.0.1:6379[1]> RENAME name id

OK

127.0.0.1:6379[1]> get name

(nil)

127.0.0.1:6379[1]> get id

"lee"

#设定数据过期时间

127.0.0.1:6379> set name lee ex 10000

OK

127.0.0.1:6379> get name

"lee"

127.0.0.1:6379> EXPIRE name 3

(integer) 1

127.0.0.1:6379> get name

"lee"

127.0.0.1:6379> get name

(nil)五 Redis 主从复制

5.1 环境配置

redis-node1 master

redis-node2 slave

redis-node3 slave

Note

在配置多台redis时建议用复制的方式节省编译时间

#删除

127.0.0.1:6379> set name lee

OK

127.0.0.1:6379> get name

"lee"

127.0.0.1:6379> del name

(integer) 1

127.0.0.1:6379> get name

(nil)

#持久化保存

127.0.0.1:6379> PERSIST name

(integer) 0

#判断key是否存在

127.0.0.1:6379> EXISTS name

(integer) 1

127.0.0.1:6379> EXISTS lee

(integer) 0

#清空当前库

127.0.0.1:6379> flushdb

OK

127.0.0.1:6379> GET name

(nil)

#清空所有库

127.0.0.1:6379[1]> FLUSHALL

OK

五 Redis 主从复制

5.1 环境配置

redis-node1 master redis-node2 slave redis-node3 slave

5.2 配置主从同步

1. 修改 mastser 节点的配置文件

[root@redis-node1 & node2 & node3 ~]# vim /etc/redis/6379.conf

protected-mode no #关闭protected模式

[root@redis-node1 &node2 & node3 ~]# /etc/init.d/redis_6379 restart

Stopping ...

Redis stopped

Starting Redis server...

2.配置slave节点

[root@redis-node2 & 3 ~]# vim /etc/redis/6379.conf

replicaof 172.25.254.100 6379

[root@redis-node2 & 3 ~]# /etc/init.d/redis_6379 restart

Stopping ...

Waiting for Redis to shutdown ...

Redis stopped

Starting Redis server...

测试：

master上：

slave上：

5.3 主从同步过程

slave节点发送同步亲求到master节点
slave节点通过master节点的认证开始进行同步
master节点会开启bgsave进程发送内存rbd到slave节点，在此过程中是异步操作，也就是说
master节点仍然可以进行写入动作
slave节点收到rdb后首先清空自己的所有数据
slave节点加载rdb并进行数据恢复
在master和slave同步过程中master还会开启新的bgsave进程把没有同步的数据进行缓存
然后通过自有的replactionfeedslave函数把未通过内存快照发动到slave的数据一条一条写入到 slave中

六 Redis的哨兵（高可用）

6.1 Redis哨兵

Sentinel 进程是用于监控 redis 集群中 Master 主服务器工作的状态，在 Master 主服务器发生故障的时候，可以实现Master 和 Slave 服务器的切换，保证系统的高可用，此功能在 redis2.6+ 的版本已引用， Redis 的哨兵模式到了2.8 版本之后就稳定了下来。一般在生产环境也建议使用 Redis 的 2.8 版本的以后版本

每个哨兵 (Sentinel) 进程会向其它哨兵 (Sentinel) 、 Master 、 Slave 定时发送消息，以确认对方是否 ” 活 ” 着，如果发现对方在指定配置时间( 此项可配置 ) 内未得到回应，则暂时认为对方已离线，也就是所谓的 ” 主观认为宕机” ( 主观 : 是每个成员都具有的独自的而且可能相同也可能不同的意识 ) ，英文名称： Subjective Down，简称 SDOWN

有主观宕机，对应的有客观宕机。当 “ 哨兵群 ” 中的多数 Sentinel 进程在对 Master 主服务器做出 SDOWN 的判断，并且通过 SENTINEL is-master-down-by-addr 命令互相交流之后，得出的 Master Server 下线判断，这种方式就是“ 客观宕机 ”( 客观 : 是不依赖于某种意识而已经实际存在的一切事物 ) ，英文名称是： Objectively Down，简称 ODOWN

6.2 哨兵的实验过程

在 master 节点中：

[root@redis-node1 ~]# cd redis-7.4.0/

[root@redis-node1 redis-7.4.0]# cp sentinel.conf /etc/redis/

[root@redis-node1 redis-7.4.0]# vim /etc/redis/sentinel.conf

protected-mode no #关闭保护模式

port 26379 #监听端口

daemonize no #进入不打如后台

pidfile /var/run/redis-sentinel.pid #sentinel进程pid文件

loglevel notice #日志级别

sentinel monitor mymaster 172.25.254.100 6379 2 #创建sentinel监控监控master主

机，2表示必须得到2票

sentinel down-after-milliseconds mymaster 10000 #master中断时长，10秒连不上视为

master下线

sentinel parallel-syncs mymaster 1 #发生故障转移后，同时开始同步新

master数据的slave数量

sentinel failover-timeout mymaster 180000 #整个故障切换的超时时间为3分钟

启动服务：

6.3. 在整个架构中可能会出现的问题

问题：

在生产环境中如果 master 和 slave 中的网络出现故障，由于哨兵的存在会把 master 提出去当网络恢复后，master 发现环境发生改变， master 就会把自己的身份转换成 slave master变成 slave 后会把网络故障那段时间写入自己中的数据清掉，这样数据就丢失了

解决：

master 在被写入数据时会持续连接 slave ， mater 确保有 2 个 slave 可以写入我才允许写入如果slave 数量少于 2 个便拒绝写入

#在matster中设定

[root@redis-node2 ~]# redis-cli

127.0.0.1:6379> CONFIG GET min-slaves-to-write

1) "min-slaves-to-write"

2) "0"

127.0.0.1:6379> CONFIG set min-slaves-to-write 2

OK

127.0.0.1:6379> CONFIG GET min-slaves-to-write

1) "min-slaves-to-write"

2) "2"

七 Redis Cluster（无中心化设计）

7.1 Redis Cluster 工作原理

在哨兵 sentinel 机制中，可以解决 redis 高可用问题，即当 master 故障后可以自动将 slave 提升为 master ，从而可以保证redis 服务的正常使用，但是无法解决 redis 单机写入的瓶颈问题，即单机 redis 写入性能受限于单机的内存大小、并发数量、网卡速率等因素。

redis 3.0 版本之后推出了无中心架构的 redis cluster 机制，在无中心的 redis 集群当中，其每个节点保存当前节点数据和整个集群状态, 每个节点都和其他所有节点连接

Redis cluster 架构

Redis cluster 主从架构

Redis Cluster 部署架构说明

7.2 创建redis cluster的前提

每个redis node节点采用相同的硬件配置、相同的密码、相同的redis版本。
每个节点必须开启的参数
所有redis服务器必须没有任何数据
先启动为单机redis且没有任何key value

7.3 部署redis cluster

在所有 redis 主机中

[root@redis-masterx ~]# vim /etc/redis/redis.conf

masterauth "123456"

requirepass "123456"

cluster-enabled yes

cluster-config-file nodes-6379.conf

cluster-node-timeout 15000

[root@redis-master1 ~]# systemctl restart redis.service

[root@redis-master1 ~]# redis-cli

127.0.0.1:6379> auth 123456

OK

127.0.0.1:6379> info

# Cluster

cluster_enabled:1

7.4. 创建redis-cluster

[root@redis-master1 ~]# redis-cli --cluster create -a 123456 \

> 172.25.254.10:6379 172.25.254.20:6379 172.25.254.30:6379 \

> 172.25.254.110:6379 172.25.254.120:6379 172.25.254.130:6379 \

> --cluster-replicas 1

>>> Performing hash slots allocation on 6 nodes...

Master[0] -> Slots 0 - 5460 #哈希槽分配

Master[1] -> Slots 5461 - 10922

检测redis集群状态

7.5 集群扩容

[root@redis-master1 ~]# redis-cli -a 123456 --cluster add-node

172.25.254.40:6379 172.25.254.10:6379

7.7 clsuter集群维护

添加节点的时候是先添加 node 节点到集群，然后分配槽位，删除节点的操作与添加节点的操作正好相反，是先将被删除的Redis node 上的槽位迁移到集群中的其他 Redis node 节点上，然后再将其删除，如果一个Redis node 节点上的槽位没有被完全迁移，删除该 node 的时候会提示有数据且无法删除