企业级NoSql数据库Redis集群

于 2024-09-02 00:13:05 发布
阅读量1.5k 收藏 23
点赞数 21
文章标签： nosql redis 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_64981741/article/details/141791332
版权

一 关系型数据库和 NoSQL 数据库

1.1 数据库主要分为两大类：关系型数据库与 NoSQL 数据库

关系型数据库，是建立在关系模型基础上的数据库，其借助于集合代数等数学概念和方法来处理数据库中的数据主流的 MySQL、Oracle、MS SQL Server 和 DB2 都属于这类传统数据库。
NoSQL 数据库，全称为 Not Only SQL，意思就是适用关系型数据库的时候就使用关系型数据库，不适用的时候也没有必要非使用关系型数据库不可，可以考虑使用更加合适的数据存储。主要分为临时性键值存储（memcached、Redis）、永久性键值存储（ROMA、Redis）、面向文档的数据库（MongoDB、CouchDB）、面向列的数据库（Cassandra、HBase），每种 NoSQL 都有其特有的使用场景及优点。

1.2 为什么还要用 NoSQL 数据库呢？

主要是由于随着互联网发展，数据量越来越大，对性能要求越来越高，传统数据库存在着先天性的缺陷，即单机（单库）性能瓶颈，并且扩展困难。这样既有单机单库瓶颈，却又扩展困难，自然无法满足日益增长的海量数据存储及其性能要求，所以才会出现了各种不同的 NoSQL 产品，NoSQL 根本性的优势在于在云计算时代，简单、易于大规模分布式扩展，并且读写性能非常高

1.3 RDBMS和NOSQL的特点及优缺点：

请添加图片描述

二 Remote Dictionary Server 简介

2.1 什么是redis

在2009年发布，开发者是意大利的萨尔瓦多·桑菲利波普（Salvatore Sanfilippo），他本想为自己的公司开发一个用于替换MySQL的产品Redis，但是没有想到他把Redis开源后大受欢迎，短短几年，Redis就有了很大的用户群体，目前国内外使用的公司众多,比如:阿里,百度,新浪微博,知乎网,GitHub,Twitter 等Redis是一个开源的、遵循BSD协议的、基于内存的而且目前比较流行的键值数据库(key-valuedatabase)，是一个非关系型数据库，redis 提供将内存通过网络远程共享的一种服务，提供类似功能的还有memcached，但相比memcached，redis还提供了易扩展、高性能、具备数据持久性等功能。
Redis 在高并发、低延迟环境要求比较高的环境使用量非常广泛

2.2 Redis特性

速度快: 10W QPS,基于内存,C语言实现
单线程
持久化
支持多种数据结构
支持多种编程语言
功能丰富: 支持Lua脚本,发布订阅,事务,pipeline等功能
简单: 代码短小精悍(单机核心代码只有23000行左右),单线程开发容易,不依赖外部库,使用简单
主从复制
支持高可用和分布式

单线程为何如此快?
纯内存
非阻塞
避免线程切换和竞态消耗

2.3 Redis应用场景

Session 共享：常见于web集群中的Tomcat或者PHP中多web服务器session共享
缓存：数据查询、电商网站商品信息、新闻内容
计数器：访问排行榜、商品浏览数等和次数相关的数值统计场景
微博/微信社交场合：共同好友,粉丝数,关注,点赞评论等
消息队列：ELK的日志缓存、部分业务的订阅发布系统
地理位置: 基于GEO(地理信息定位),实现摇一摇,附近的人,外卖等功能

2.4 缓存的实现流程

数据更新操作流程
请添加图片描述
数据读操作流程
请添加图片描述

三 Redis的安装

官方下载地址：http://download.redis.io/releases/
三台（172.25.254.10 ，172.25.254.20，172.25.254.30）
请添加图片描述
安装编译工具
请添加图片描述
执行编译命令
请添加图片描述

This systems seems to use systemd. #提示系统使用的是systemd的初始化方式
Please take a look at the provided example service unit files in this directory,
and adapt and install them. Sorry!

解决报错
请添加图片描述
请添加图片描述

[root@redis1 utils]# vim /etc/redis/6379.conf

监听端口（所有）
请添加图片描述
安全模式关
请添加图片描述
请添加图片描述

四 Redis的基本操作

请添加图片描述

五 Redis 主从复制

5.1 环境配置

redis1 master
redis2 slave
redis3 slave

5.2 配置主从同步

redis2和3上和1一样
请添加图片描述

vim /etc/redis/6379.conf

监听端口
请添加图片描述
安全模式关闭
请添加图片描述
配置slave节点
请添加图片描述
测试
请添加图片描述
请添加图片描述

5.3 主从同步过程

请添加图片描述
slave节点发送同步亲求到master节点
slave节点通过master节点的认证开始进行同步
master节点会开启bgsave进程发送内存rbd到slave节点，在此过程中是异步操作，也就是说
master节点仍然可以进行写入动作
slave节点收到rdb后首先清空自己的所有数据
slave节点加载rdb并进行数据恢复
在master和slave同步过程中master还会开启新的bgsave进程把没有同步的数据进行缓存
然后通过自有的replactionfeedslave函数把未通过内存快照发动到slave的数据一条一条写入到
slave中

六 Redis的哨兵（高可用）

实验环境：我们用主两从来实现Redis的高可用架构

6.1 Redis哨兵

请添加图片描述
Sentinel 进程是用于监控redis集群中Master主服务器工作的状态，在Master主服务器发生故障的时候，
可以实现Master和Slave服务器的切换，保证系统的高可用，此功能在redis2.6+的版本已引用，Redis的
哨兵模式到了2.8版本之后就稳定了下来。一般在生产环境也建议使用Redis的2.8版本的以后版本
每个哨兵(Sentinel)进程会向其它哨兵(Sentinel)、Master、Slave定时发送消息，以确认对方是否”活”
着，如果发现对方在指定配置时间(此项可配置)内未得到回应，则暂时认为对方已离线，也就是所谓的”
主观认为宕机” (主观:是每个成员都具有的独自的而且可能相同也可能不同的意识)，英文名称：
Subjective Down，简称SDOWN
有主观宕机，对应的有客观宕机。当“哨兵群”中的多数Sentinel进程在对Master主服务器做出SDOWN 的
判断，并且通过 SENTINEL is-master-down-by-addr 命令互相交流之后，得出的Master Server下线判
断，这种方式就是“客观宕机”(客观:是不依赖于某种意识而已经实际存在的一切事物)，英文名称是：
Objectively Down， 简称 ODOWN
通过一定的vote算法，从剩下的slave从服务器节点中，选一台提升为Master服务器节点，然后自动修改
相关配置，并开启故障转移（failover）
Sentinel 机制可以解决master和slave角色的自动切换问题，但单个 Master 的性能瓶颈问题无法解决,类
似于MySQL中的MHA功能
Redis Sentinel中的Sentinel节点个数应该为大于等于3且最好为奇数
sentinel中的三个定时任务
每10秒每个sentinel对master和slave执行info
发现slave节点
确认主从关系
每2秒每个sentinel通过master节点的channel交换信息(pub/sub)
通过sentinel__:hello频道交互
交互对节点的“看法”和自身信息
每1秒每个sentinel对其他sentinel和redis执行pi

6.2 哨兵的实验过程

master(172.25.254.10)
请添加图片描述
请添加图片描述

请添加图片描述

创建sentinel监控监控master主机，2表示必须得到2票

复制配置文件到其他阶段
请添加图片描述
启动服务
请添加图片描述
注意：/etc/redis/sentinel.conf 文件在用哨兵程序调用后会更改其配置文件，如果需要重新做需要删掉文
件重新编辑

6.3. 在整个架构中可能会出现的问题

在生产环境中如果master和slave中的网络出现故障，由于哨兵的存在会把master提出去
当网络恢复后，master发现环境发生改变，master就会把自己的身份转换成slave
master变成slave后会把网络故障那段时间写入自己中的数据清掉，这样数据就丢失了。
解决：
master在被写入数据时会持续连接slave，mater确保有2个slave可以写入我才允许写入
如果slave数量少于2个便拒绝写入

#在matster中设定
[root@redis2 ~]# redis-cli
127.0.0.1:6379> CONFIG GET min-slaves-to-write
1) "min-slaves-to-write"
2) "0"
127.0.0.1:6379> CONFIG set min-slaves-to-write 2
OK
127.0.0.1:6379> CONFIG GET min-slaves-to-write
1) "min-slaves-to-write"
2) "2"
#如果要永久保存写到配置文件中/etc/redis/6379.conf

七 Redis Cluster（无中心化设计）

7.1 Redis Cluster 工作原理

在哨兵sentinel机制中，可以解决redis高可用问题，即当master故障后可以自动将slave提升为master，
从而可以保证redis服务的正常使用，但是无法解决redis单机写入的瓶颈问题，即单机redis写入性能受
限于单机的内存大小、并发数量、网卡速率等因素。
redis 3.0版本之后推出了无中心架构的redis cluster机制，在无中心的redis集群当中，其每个节点保存
当前节点数据和整个集群状态,每个节点都和其他所有节点连接
Redis Cluster特点如下

  1. 所有Redis节点使用(PING机制)互联
  2. 集群中某个节点的是否失效，是由整个集群中超过半数的节点监测都失效，才能算真正的失效
  3. 客户端不需要proxy即可直接连接redis，应用程序中需要配置有全部的redis服务器IP
  4. redis cluster把所有的redis node 平均映射到 0-16383个槽位(slot)上，读写需要到指定的redis
    node上进行操作，因此有多少个redis node相当于redis 并发扩展了多少倍，每个redis node 承担
    16384/N个槽位
  5. Redis cluster预先分配16384个(slot)槽位，当需要在redis集群中写入一个key -value的时候，会使
    用CRC16(key) mod 16384之后的值，决定将key写入值哪一个槽位从而决定写入哪一个Redis节点
    上，从而有效解决单机瓶颈。
    请添加图片描述
    假如三个主节点分别是：A, B, C 三个节点，采用哈希槽 (hash slot)的方式来分配16384个slot 的话它们
    三个节点分别承担的slot 区间可以是：
节点A覆盖 0－5460
节点B覆盖 5461－10922
节点C覆盖 10923－16383

7.2 创建redis cluster的前提

1.每个redis node节点采用相同的硬件配置、相同的密码、相同的redis版本。
2.每个节点必须开启的参数
cluster-enabled yes #必须开启集群状态，开启后redis进程会有cluster显示
cluster-config-file nodes-6380.conf #此文件有redis cluster集群自动创建和维护，不需要任何手
动操作
3.所有redis服务器必须没有任何数据
4.先启动为单机redis且没有任何key value

7.3 部署redis cluster

在所有redis主机中
请添加图片描述
请添加图片描述

请添加图片描述
请添加图片描述

7.4 redis-cli --cluster 参数说明

Cluster Manager Commands:
create host1:port1 ... hostN:portN 					#创建集群
--cluster-replicas <arg> 							#指定master的副本数
check <host:port> or <host> <port>					#检测集群信息
info <host:port> or <host> <port> 					#查看集群信息
fix <host:port> or <host> <port> 					#修复集群
reshard <host:port> or <host> <port>	 			#在线热迁移集群指定主机的slots数据
rebalance <host:port> or <host> <port> 				#平衡各集群主机的slot数量
add-node new_host:new_port existing_host:existing_port #添加主机
del-node host:port node_id 							#删除主机
import host:port 									#导入外部redis服务器的数据到当前集群

7.5. 创建redis-cluster

[root@redis-master1 ~]# redis-cli --cluster create -a 123456 \
> 172.25.254.10:6379 172.25.254.20:6379 172.25.254.30:6379 \
> 172.25.254.110:6379 172.25.254.120:6379 172.25.254.130:6379 \
> --cluster-replicas 1
>>> Performing hash slots allocation on 6 nodes...
Master[0] -> Slots 0 - 5460 #哈希槽分配
Master[1] -> Slots 5461 - 10922
Master[2] -> Slots 10923 - 16383
Adding replica 172.25.254.120:6379 to 172.25.254.10:6379 #主从分配情况
Adding replica 172.25.254.130:6379 to 172.25.254.20:6379
Adding replica 172.25.254.110:6379 to 172.25.254.30:6379

检测redis集群状态

redis-cli -a 123456 --cluster info 172.25.254.10:6379

edis-cli -a 123456 --cluster check 172.25.254.10:6379
#检测集群
Warning: Using a password with '-a' or '-u' option on the command line interface
may not be safe.
172.25.254.10:6379 (5ab2e93f...) -> 0 keys | 5461 slots | 1 slaves.
172.25.254.20:6379 (ba504e78...) -> 0 keys | 5462 slots | 1 slaves.
172.25.254.30:6379 (1fcaeb1d...) -> 0 keys | 5461 slots | 1 slaves.

写入数据

redis-cli -a 123456
Warning: Using a password with '-a' or '-u' option on the command line interface
may not be safe.
127.0.0.1:6379> set key1 value1 #被分配到20的hash槽位上
(error) MOVED 9189 172.25.254.20:6379

7.6 集群扩容

添加master

[root@redis-master1 ~]# redis-cli -a 123456 --cluster add-node
172.25.254.40:6379 172.25.254.10:6379

分配槽位

[root@redis-master1 ~]# redis-cli -a 123456 --cluster reshard
172.25.254.10:6379

添加salve

[root@redis-master1 ~]# redis-cli -a 123456 --cluster add-node
172.25.254.140:6379 172.25.254.10:6379 --cluster-slave --cluster-master-id
009571cb206a89afa6658b60b2d403136056ac09

请添加图片描述
请添加图片描述

7.7 clsuter集群维护

添加节点的时候是先添加node节点到集群，然后分配槽位，删除节点的操作与添加节点的操作正好相
反，是先将被删除的Redis node上的槽位迁移到集群中的其他Redis node节点上，然后再将其删除，如
果一个Redis node节点上的槽位没有被完全迁移，删除该node的时候会提示有数据且无法删除。

移除要下线主机的哈希槽位

[root@redis-master2 ~]# redis-cli -a 123456 --cluster reshard 172.25.254.20:6379

删除master

[root@redis-master2 ~]# redis-cli -a 123456 --cluster del-node
172.25.254.120:6379 d458f34fa900d83212c021dc1e65396e490b5495
[root@redis-master2 ~]# redis-cli -a 123456 --cluster del-node
172.25.254.10:6379 5ab2e93f4f0783983676f7bd118efaacfb202bd1

请添加图片描述

小张太子zhang
关注
NoSQL数据库基础教程
AI天才研究院
09-12 2906
作者：禅与计算机程序设计艺术 1.简介 NoSQL（Not Only SQL）意为“不仅仅是SQL”，主要指非关系型数据库管理系统。NoSQL数据库的历史可以追溯到1997年的MySQL，2008年的CouchDB，以及2010年Google推出的Bigtable，最终演变成今天的分布式NoSQL数据库
NoSQL之Redis数据库
yemu880的博客
08-10 301
关系数据库与非关系型数据库 1、关系型数据库 关系型数据库是一个结构化的数据库，创建在关系模型(二维表格模型)基础上，一般面向于记录。 sQL语句(标准数据查询语言) 就是一种基于关系型数据库的语言，用于执行对关系型数据库中数据的检索和操作。主流的关系型数据库包括Oracle、MySQL、sQLServer、Microsoft Access、DB2等。 2、非关系型数据库 NosQL(NoSQL=NotonlysQL)，意思是"不仅仅是sQL"，是非关系型数据库的总称。除了主流的关系型数据库外的数据库，都认
Redis 之 Nosql数据库简介
shiyansama的博客
06-11 409
本文按照bilibili尚硅谷的《2021最新Redis 6 入门》而记录，属学习笔记 1.NoSQL数据库简介 为了提高性能而产生的东西——Nosql 1.1技术发展 技术的分类： 1、解决功能性的问题：Java、Jsp、RDBMS、Tomcat、HTML、Linux、JDBC、SVN 2、解决扩展性的问题(框架)：Struts、Spring、SpringMVC、Hibernate、Mybatis 3、解决性能的问题：NoSQL、Java线程、Hadoop、Nginx、MQ、ElasticSe.
NoSQL数据库Redis
m0_71518373的博客
10-02 967
redis的部署与基础使用命令、redis主从复制与哨兵模式的搭建
NoSQL之Redis集群搭建
u014042047的博客
09-09 251
文章目录一、案例概述二、Redis群集介绍三、Redis群集搭建 一、案例概述 单节点Redis服务器带来的问题 单点故障，服务不可用 无法处理大量的并发数据请求 数据丢失一大灾难 解决方法：搭建Redis集群 二、Redis群集介绍 Redis群集是一个提供在多个Redis间节点间共享数据的程序集 Redis集群并不支持处理多个keys的命令，因为这需要在不同的节点间移动数据，从而达不到像Redis那样的性能，在高负载的情况下可能会导致不可预料的错误 Redis集群通过分区来提供一定程度的可
NOSQL数据库-Redis
ZHONGZEWEI的博客
02-21 527
学习目标 能够理解nosql的概念 能够说出redis的常用数据类型 能够使用redis的string操作命令 能够使用redis的hash操作命令 能够使用redis的list操作命令 能够使用redis的set操作命令 能够说出redis的两种持久化机制 能够使用jedis对redis进行操作 NOSQL概述 什么是NOSQL NoSQL(NoSQL = N...
如何设置和配置阿里云国际版云数据库 Redis 内存数据库
九河云的创作之路
04-27 801
本文87cloud介绍如何设置和配置阿里云云数据库 Redis 内存数据库 什么是云数据库 Redis 版？ 阿里云云数据库 Redis 版是一个完全托管的键值存储云数据库，可从内存中缓存中检索数据，以支持资源密集型读写。云数据库 Redis 版安全、可扩展，支持字符串、列表、集、有序集、哈希等多种数据类型。 阿里云为云数据库 Redis 版提供个人和企业免费试用版。您有资格使用双节点热备用架构在 Redis 标准版上运行一个月的个人免费试用版 4GB 主副本实例。 您可以使用在标准版上运行两个月的
实战：亿级Redis集群解决方案
kuaidi100的博客
11-24 2027
实战：亿级Redis集群解决方案 一、背景介绍 快递100作为中国领先的快递物流信息服务商，集查询快递、寄快递、企业寄件、企业物流、小微商家、快递云打印、API接口等一体化的物流解决方案，日均物流查询3亿次。我们先来一个简单的计算： 一天24个小时，用户真正有效访问时长暂且定为16个小时，那么就是 3亿次÷16小时÷3600秒=5208.3次/秒。 5208.3次/秒，这单单是物流查询这一个业务，还不算其他业务。在每天面对海量数据和高并发场景的背后，一个可靠的系统架构显得尤为重要。常见的高可用、高并发、高性
redis集群企业级搭建
06-09
Redis 是一种高性能的 NoSQL 数据库，常被用于缓存、队列、计数器等场景。当单机 Redis 已经无法满足业务需求时，我们可以考虑使用 Redis 集群来扩展 Redis 的性能和容量。 以下是一个简单的企业级 Redis 集群搭建...
NoSQL数据库技术数据库资源调度平台架构实践.pdf
09-07
总的来说，Shanks作为一款基于NoSQL技术的数据库资源调度平台，成功地解决了大规模数据库集群的管理难题，实现了资源的高效利用和服务的高可用性。它的实践经验和设计理念，对于其他大型互联网企业构建类似平台有着...
NOSql（Redis，mongodb）
04-18
Redis、MongoDB 的帮助类及示例代码
Nosql之Redis详解
企业实战系列集 ●●● https://ximenjianxue.blog.csdn.net
08-30 1133
概述 定义：Redis是一个开源的，使用ANSI C语言编写、遵守BSD协议、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。 redis是一个key-value存储系统。和Memcached类似，只是它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash......
NoSQL数据库——Redis
葱葱那年
08-21 394
一、什么是Redis Redis是一个开源的，基于C语言编写的，包含多种数据结构、支持网络交互的、可基于内存也可持久化的日志型、key-value存储的NoSQL数据库。 1、Redis数据类型 1）字符串（strings）：可以进行数值计算； 2）列表（lists）：链表方式实现，可以实现常数级别的头尾数据插入； 3）无序集合（sets）：可以进行数据的求交、并、差集； 4）有序集合（sorted sets）：...
NoSql数据库 Redis集群详解
最新发布
D2961953033的博客
08-26 950
在2009年发布，开发者是意大利的萨尔瓦多桑菲利波普（），他本想为自己的公司开发一个用于替换MySQL的产品Redis，但是没有想到他把Redis开源后大受欢迎，短短几年，Redis就有了很大的用户群体，目前国内外使用的公司众多,比如阿里百度新浪微博知乎网等Redis是一个开源的、遵循BSD协议的、基于内存的而且目前比较流行的键值数据库(key-valuedatabase)，是一个非关系型数据库，redis。
NoSql 数据库 —— Redis 数据库学习
baiyang2001的博客
10-13 1375
NoSql 数据库 —— redis
NoSQL之Redis集群
ycycyyc_的博客
09-10 263
文章目录一、案例概述1.1 单节点Redis服务器带来的问题1.2 解决方法二、案例前置知识点2.1 Redis集群介绍2.2 Redis集群的优势2.3 Redis集群的实现方法2.4 Redis-Cluster数据分片2.5 Redis-Cluster的主从复制模型三、案例环境案例拓扑图四、案例实施 一、案例概述 1.1 单节点Redis服务器带来的问题 单点故障，服务不可用 无法处理大量的并发数据请求 数据丢书一大灾难 1.2 解决方法 搭建Redis集群 二、案例前置知识点 2.1 Redi
NoSQL之Redis
梦夜君王
10-26 1041
1. 数据库存储的瓶颈 数据量的总大小 一个机器放不下时 数据的索引 一个机器的内存放不下时 读写混合访问量 一个实例不能承受时 2. Redis的定义 NoSQL = Not Only SQL 非关系型数据库
NoSQL 之Redis集群模式
weixin_71499831的博客
07-12 1064
redis集群使用投票容错机制，如果集群中超过半数以上的节点投票认为某节点挂了，那么这个节点就会被认为挂掉了，所以，在设置redis集群时，最少的master节点为3个，如果每一个master节点都添加一个slave节点的话，搭建一个redis集群总共需要6个节点，即3个master节点，3个slave节点。当某个节点被检测到不可用时，系统会自动将该节点标记为下线，并将该节点上的哈希槽重新分配给其他节点。每个分片都有一个主节点和多个从节点，主节点负责处理读写操作，而从节点则复制主节点的数据。
NoSQL---redis
slh20030904的博客
02-21 252
什么是NoSQl NOSql 是非关系型数据库，他的全名是Not Only SQl 他不是要替代关系型数据库（比如Mysql），只能作为关系型数据库的一个良好的补充。 为了解决高并发、高可用、高可扩展、大数据存储等一系列问题而产生的数据库解决方案，就是NoSql NoSql的分类 键值数据库： 应用·：处理大量的数据 优点：扩展性好、灵活性好、大量写操作时性能高、快速 查询 缺点：无法存储结构化信...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值