复制集群架构设计技巧

最新推荐文章于 2023-02-22 08:18:17 发布
最新推荐文章于 2023-02-22 08:18:17 发布
阅读量492 收藏
点赞数
分类专栏： 架构 文章标签： 架构
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lee_nacl/article/details/128016426
版权

Redis Sentinel设计技巧

Redis Sentinel基本架构

在这里插入图片描述

Monitoring

Sentinel可以监控Redis节点的状态

Notification

Sentinel可以通过API进行集群状态通知

Automatic failover

Sentinel实现故障自动切换

Configuration provider

Sentinel为client提供发现master节点的发现功能，如果发生了切换，Sentinel会通知client新的master地址

实现细节

  1. Sentinel的选举是Raft算法
  2. Sentinel是独立运行的程序，但不是独立的代码：redis-server /path/to/sentinel.conf --sentinel

Sentinel架构模式

模式1-双节点

在这里插入图片描述

正常：两台服务器，每台服务器上分别部署Sentinel和Redis节点

Quorum：Sentinel对master故障达成一致意见的投票数

Majority：Sentinel之间选举leader需要的投票数

在这里插入图片描述

故障场景1：Master挂掉，Sentinel都正常

故障影响：Replica被提升为Master

在这里插入图片描述

故障场景2：服务器1挂掉，quorum=1，majority=2

故障影响：无论服务器2是否挂掉，集群都宕机

在这里插入图片描述

故障场景3：服务器1和服务器2的连接挂掉，quorum=1，majority=1

故障影响：双主（脑裂）

模式2-三节点

在这里插入图片描述

正常：三台服务器，每台服务器上分别部署Sentinel和Redis节点

在这里插入图片描述

故障场景1：Master挂掉，Sentinel都正常

故障影响：其中1个Replica被提升为Master

在这里插入图片描述

故障场景2：服务器1挂掉，quorum=2，majority=2

故障影响：其中1个Replica被提升为Master

在这里插入图片描述

故障场景3：服务器1、服务器2，它俩和服务器3军断连

故障影响：其中1个Replica被提升为Master，可能出现双主

解决方案：min-replicas-to-write 1; min-replicas-max-lag 10

模式3-分离部署

在这里插入图片描述

正常：Sentinel和Redis分开部署，可以将Sentinel和Redis客户端所在的应用部署在一起，也可以独立部署

在这里插入图片描述

故障场景1：Master挂掉，Sentinel都正常

故障影响：其中1个Replica被提升为Master

在这里插入图片描述

故障场景2：服务器1和服务器4形成分区，剩余的服务器形成另外一个分区

故障影响：双主（脑裂）

解决方案：min-replicas-to-write 1; min-replicas-max-lag 10

Redis集群架构模式对比

架构模式硬件成本架构复杂度双主故障处理能力
双节点2台服务器低是，Majority=1只能支持Master节点故障，其他故障不支持
三节点3台服务器中是，网络分区，可以通过 min-replicas-to-write, min-replicas-max-lag 来避免支持Master节点故障，Sentinel节点故障
分离部署多台服务器，Sentinel可以和业务服务器公用高是，网络分区，可以通过 min-replicas-to-write, min-replicas-max-lag 来避免支持Master节点故障，Sentinel节点故障

MongoDB Replication设计技巧

MongoDB Replication基本架构

在这里插入图片描述

基本实现

  1. Primary处理所有Write请求，Secondary可以处理Read请求，或者只复制数据
  2. 异步复制，复制的是oplog
  3. 选举算法：3.2.0以前基于bully算法，3.2.0开始基于Raft算法
  4. 最多50个节点，但最多只有7个节点参与选举

MongoDB Replication-新节点同步流程

在这里插入图片描述

基本实现

  1. 第1步：寻找同步源，MongoDB支持级联复制，复制源不一定是Primary，而是通过算法选出来的
  2. 第2步：全量复制数据和oplog
  3. 第3步：同步全量复制后的增量数据，异步复制oplog

MongoDB Replication架构技巧

技巧1-Read preference

在这里插入图片描述

基本实现
  1. 默认读Primary，指定read preference来读取Secondary
  2. 可能读不到最新数据
  3. 事务必须读Primary
  4. 包含5种preference：primary, primaryPreferred, secondary, secondaryPreferred, nearest
  5. 通过API或者连接配置参数

技巧2-Arbiter

在这里插入图片描述

基本实现
  1. Arbiter只投票，不复制数据
  2. Arbiter永远是Arbiter，相当于“仲裁者”
lee_nacl
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Sentinel
kandy的专栏
07-07 559
Sentinel¶ Note 本文档翻译自： http://redis.io/topics/sentinel 。 Redis 的 Sentinel 系统用于管理多个 Redis 服务器（instance）， 该系统执行以下三个任务： 监控（Monitoring）：Sentinel 会不断地检查你的主服务器和从服务器是否运作正常。提醒（Notification）： 当被监控的
Redis高可用之主从复制(六)
勇心在馨
09-12 1355
心跳 主从建立复制后，相互之间会维持着一个长连接彼此发送心跳命令。 原理： （1）主从节点彼此都有心跳检测机制，各自模拟成对方的客户端进行通信，通过client list命令查看复制相关客户端信息，主节点的连接状态为flags=M，从节点连接状态为flags=S。 （2）主节点默认每隔10秒对从节点发送ping命令，判断从节点的存活性和连接状态。可通过参数repl-ping-repli...
面试题：Redis脑裂为何会导致数据丢失？
qianshanding0708的博客
02-22 217
更多内容关注微信公众号：fullstack8881 案例主从集群有1个主库、5个从库和3个哨兵实例，突然发现客户端发送的一些数据丢了，直接影响业务层数据可靠性。最终排查发现是主从集群中的脑裂问题导致：主从集群中，同时有两个主节点都能接收写请求。影响客户端不知道应往哪个主节点写数据，导致不同客户端往不同主节点写数据。严重的，脑裂会进一步导致数据丢失。2 脑裂原因最初问题：在主从集群中，客户端发送的数...
读配置、讲原理、看面试真题，我只能帮你到这了。。。
阿Q的小窝
11-19 311
当我在写一上来就主从、集群、哨兵，这谁受得了的时候，好多小伙伴就迫不及待的留言想看这些模式了，今天我们就从配置文件、设计原理、面试真题三个方面来聊一聊 Redis 的主从复制。 在 Redis 复制的基础上，使用和配置主从复制非常简单，能使得从 Redis 服务器（下文称 replica）能精确的复制主 Redis 服务器（下文称 master）的内容。每次当 replica 和 master 之间的连接断开时， replica 会自动重连到 master 上，并且无论这期间 master 发生了什么， r
数据结构--知识点16--搜索算法(二叉树)
ANingL的博客
09-06 2980
文章目录一、树的概念1、特点2、树的术语3、树的种类4、树的存储与表示5、常见的树的应用场景二、二叉树1、概念2、性质 一、树的概念 树是一种抽象数据类型(ADT)或是视作这种抽象数据类型的数据结构 1、特点 每个节点有零个或多个子节点 没有父节点的节点称为根节点 每一个非根节点有且只有一个父节点 除了根节点外，每个子节点可以分为**多个不相交(因为都只有一个父节点)**的子树 2、树的术语 节点的度：一个节点含有的子树的个数称为该节点的度 树的度：一棵树中，最大的节点的度称为树的度 叶节点或终端节点
MySQL性能调优与架构设计 - 简朝阳.rar_MySQL性能调优与架构设计简朝阳
09-21
了解复制原理，配置主从复制，监控复制状态是架构设计的基础。 2. 集群与分布式：MySQL集群（如MySQL Cluster）和分片（Sharding）技术可以提高系统的可用性和可扩展性，但需权衡复杂性和成本。 3.读写分离：通过...
MySQL性能调优与架构设计
11-27
MySQL性能调优与架构设计是数据库管理领域中的一个重要主题，对于任何依赖于MySQL数据库系统的企业或项目来说，理解和掌握这些技巧至关重要。MySQL作为最广泛使用的开源关系型数据库管理系统之一，其性能优化和架构...
数据库应用与设计-大型数据库系统架构设计方法_架构设计_关系型数据库_数据库系统_
10-03
在《数据库应用与设计-大型数据库系统架构设计方法》这本书中，读者可以找到更详细的设计原则、最佳实践以及案例分析，帮助理解和掌握构建大型数据库系统的技巧。通过学习，开发者能够根据实际业务需求，设计出满足...
探究MySQL架构设计实战宝典视频课程下载整理.zip
最新发布
08-21
本课程的“探究MySQL架构设计实战宝典”将通过实例演示和实战练习，全面讲解这些知识点，帮助学员掌握MySQL的高级使用技巧，提升数据库设计和管理能力。文件中的“程序分享”可能包含课程视频、课件、示例代码等内容...
redis配置文件中常用配置详解
热门推荐
itboy
05-29 4万+
此次安装的版本为： 5.0.3 [root@localhost local]# redis-server --version Redis server v=5.0.3 sha=00000000:0 malloc=jemalloc-5.1.0 bits=64 build=afabdecde61000c3 打开redis.cof ###############################...
redis缓存击穿，穿透，雪崩
qq_42933931的博客
03-20 154
缓存穿透 缓存穿透的概念很简单，用户想要查询一个数据，发现redis内存数据库没有，也就是缓存没有命中,于是向持久层数据库查询，发现也没有，于是本次查询失败。当用户有很多的时候，缓存都没有命中。 于是去请求了持久层数据库，这就会给数据库造成很大的压力，这就是相当于出现了缓存穿透。 解决办法 1.布隆过滤器。是一种数据结构，对于所有可能查询的参数以hash形式存储，在控制层进行校验，不符合直接丢弃。从而避免对数据库的压力。 2.假设缓存没有命中，设置空值缓存。但是会增加redis内存。即使设置
Redis配置文件参数解释
xiaolinzi176的博客
02-27 2816
################################### NETWORK ################################### # 指定 redis 只接收来自于该IP地址的请求，如果不进行设置，那么将处理所有请求 bind 127.0.0.1 #是否开启保护模式，默认开启。要是配置里没有指定bind和密码。开启该参数后，redis只会本地进行访问， 拒绝外部访问。要是开启了密码和bind，可以开启。否则最好关闭，设置为no protected-mode yes ...
Reids 主从复制-哨兵机制中，脑裂问题及解决方案
chuixue24的博客
04-02 1508
1、什么是脑裂 redis的主从模式下脑裂是指因为网络问题，导致redis master节点跟redis slave节点和sentinel集群处于不同的网络分区，此时因为sentinel集群无法感知到 master 的存在，就会将某一个 slave 节点提升为 master 节点。此时就存在两个不同的 master节点，就像一个大脑分裂成了两个。 集群脑裂问题中，如果客户端还在基于原来的 master 节点继续写入数据，那么新的master 节点将无法同步这些数据，当网络问题解决之后，sentinel
Redis 5.0.x 配置文件详解
老实人张大傻
09-11 1313
文章目录Redis 5.0.x 配置文件详解Redis 启动方式INCLUDESMODULESNETWORKbindprotected-modeporttcp-backlogUnix sockettimeouttcp-keepaliveGENERALdaemonizesupervisedpidfileloglevellogfilesyslogdatabasesSNAPSHOTTINGsavestop-writes-on-bgsave-errorrdbcompressionrdbchecksumdbfilen
redis的主从复制
AmourHaiti的博客
11-07 94
以下的所有实操都是在redhat7.3上 配置环境 server1 172.25.70.1 master server2 172.25.70.2 slave server3 172.25.70.3 slave 1.配置一主二从环境 在server1上 [root@server1 redis-5.0.3]# mkdir redis [root@server1 redis-5...
redis实现主从复制的解析介绍
m0_57781768的博客
11-07 467
前面说到了redis在单机的模式下是可以数据持久化的，但是不可以解决单点失败的问题，当单台redis服务器出现问题时，就可能会造成数据的丢失；想要解决这个问题的话我们可以使用Redis的主从模式这也是Redis集群最简单的实现方式，这篇文章我就来简单部署一个Redis主从架构，我准备了3台ubuntu1804的主机，IP地址分别为10.0.0.{101,102,103},主机名分别为master，slave1，slave2。
Redis主从复制及Sentinel机制
weixin_40172997的博客
05-06 202
配置Redis实现主从复制 环境配置：rhel7.3 Server1：172.25.81.1 Master Server2：172.25.81.2 Slave 1.Redis的源码编译安装 Master、Slave主机安装Redis：从网站下载redis源码包，解压后进入redis目录，进行如下操作： [root@server1 ~]# tar zxf redis-4.0.13.ta...
Redis min-slaves-to-write
马金波
06-27 5402
Redist 主从复制的时候,设置以下参数需小心, min-slaves-max-lag=10 min-slaves-to-write=1 当min-slaves-to-write=1时,slave去维护断开的情况下 主库此时只能读,不能写: lpush lkey 1 2 3 4 (error) NOREPLICAS Not enough good slaves to write. 127.0.0...
Redis系列（3）—哨兵高可用
a6636656的博客
04-08 446
哨兵集群 上篇文章介绍了Redis主从架构模式，在这个模式下，主库存在着单点问题，如果主库发生故障，那客户端就无法发送写请求，而且从库也无法进行数据复制同步了。所以一般部署Redis主库架构时，还会部署哨兵（Sentinel）集群来保证Redis的高可用性，在主库发生故障时，可以自动进行故障转移，将从库切换为新的主库。这篇文章就来看看如何部署哨兵集群，以及其工作的原理。 哨兵部署架构 哨兵机制是 Redis 官方高可用解决方案，哨兵本身也是集群分布式部署，且至少需要2个以上节点才能正常工作。 上篇文
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值