如何设计高可用架构

最新推荐文章于 2024-11-08 19:02:05 发布
最新推荐文章于 2024-11-08 19:02:05 发布
阅读量733 收藏
点赞数
分类专栏： 架构 文章标签： 架构
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lee_nacl/article/details/128110822
版权
本文探讨了构建高可用系统的关键元素，包括任务分配和数据复制。任务分配通过任务分解和分配器设计确保业务连续性，而数据复制则通过同步、异步和半同步等多种策略保障数据一致性。文中列举了Redis和MySQL的复制实例，并分析了各种复制方式的优缺点。此外，还介绍了独裁式、协商式和民主式的状态决策机制及其适用场景。
摘要由CSDN通过智能技术生成

高可用复杂度模型

在这里插入图片描述

计算高可用

任务分配

在这里插入图片描述

将任务分配给多个服务器执行

复杂度分析

  1. 增加“任务分配器”节点，可以是独立的服务器，也可以是SDK
  2. 任务分配器需要管理所有的服务器，可以通过配置文件，也可以通过配置服务器（例如Zookeeper）
  3. 任务分配器需要根据不同的需求采用不同的算法分配
  4. 任务分配器需要监控业务服务器的状态，在故障时进行切换

任务分配架构设计关键点

在这里插入图片描述

案例

在这里插入图片描述

任务分解

在这里插入图片描述

将服务拆分为不同角色，不同服务器处理不同的业务

复杂度分析

  1. 增加“任务分解器”节点，可以是独立的服务器，也可以是SDK
  2. 任务分解器需要管理所有的服务器，可以通过配置文件，也可以通过配置服务器（例如Zookeeper）
  3. 需要设计任务拆分的方式，任务分解器需要记录“任务”和“服务器”的映射关系
  4. 任务分配器需要根据不同的需求采用不同的算法分配
  5. 任务分解器需要监控业务服务器的状态，在故障时进行切换

任务分解架构设计关键点

在这里插入图片描述

案例-微信服务拆分

在这里插入图片描述

架构模式
  1. 按照业务逻辑划分服务器集群
  2. 独立的接入服务器

存储高可用

复杂度模型

在这里插入图片描述

数据复制

复制格式
复制命令

在这里插入图片描述

优缺点
  1. 实现简单，复制数据量小
  2. 数据可能不一致（SQL函数）
适用场景

增量复制

复制数据

在这里插入图片描述

优缺点
  1. 实现简单
  2. 保证数据一致
  3. 复制流量可能会很大
适用场景

增量复制

复制文件

在这里插入图片描述

优缺点
  1. 实现复杂，复制的时候数据在变
  2. 保证数据一致
  3. 复制流量可能会很大
适用场景

全量复制

复制方式
同步复制

在这里插入图片描述

优缺点
  1. 最强一致性，故障容忍度低
  2. 写入性能低
适应场景

主备/主从架构

异步复制

在这里插入图片描述

优缺点
  1. 写入性能高，故障容忍度高
  2. 容易出现数据不一致
适应场景

数据存储集群

半同步复制

在这里插入图片描述

优缺点

同步复制和异步复制的折中方案

适应场景

数据存储集群

多数复制

在这里插入图片描述

优缺点
  1. 数据强一致性，最强可用性，故障容忍度高
  2. 写入性能不高，实现复杂
适应场景

分布式一致性、分布式协同

案例
Redis

在这里插入图片描述

复制格式：命令（AOF）+文件（RDB）

复制方式：异步+wait（指定半同步）

MySQL

在这里插入图片描述

复制格式：命令（statement）+数据（Row）

复制方式：异步+半同步

状态决策

方式
独裁式

在这里插入图片描述

优缺点
  1. 决策逻辑简单
  2. 决策者要做到高可用，整体架构复杂，常用Zookeeper、Raft、Keepalived
  3. 数据一致性强度中等
应用场景

绝大部分业务都可以应用

协商式

在这里插入图片描述

优缺点
  1. 架构实现简单，决策逻辑简单，一般是心跳机制
  2. 如果是链路问题，会导致双主，可以用双通道来缓解
  3. 数据一致性弱
应用场景

内部系统

民主式/选举式

在这里插入图片描述

优缺点
  1. 决策过程复杂，决策逻辑复杂，一般用标准算法进行选举，例如Raft、ZAB、Paxos
  2. 可用性最高，数据一致性最强
  3. 可能出现“脑裂”问题，可以采用quorum来控制
应用场景

对数据一致性要求很高的场景，例如余额、库存

案例
独裁式
Redis

在这里插入图片描述

使用Sentinel集群来解决“决策者”单点问题，sentinel又是通过Raft算法进行选举的

Hadoop

在这里插入图片描述

NameNode是集群决策者，使用Zookeeper集群来解决NameNode单点问题

民主式
Zookeeper

在这里插入图片描述

基于ZAB算法选举

MongoDB

在这里插入图片描述

3.2.0以前基于bully算法，3.2.0开始基于Raft算法

lee_nacl
关注
专栏目录
【架构实战营】模块二 3.如何设计高可用架构？
日拱一卒，不期速成！
02-20 2786
教学目标 理解高可用架构的复杂度本质 掌握高可用架构分析和设计 不要把所有鸡蛋都放到同一个篮子，放到多个篮子！ 目录 高可用复杂度模型 计算高可用 存储高可用 1 高可用复杂度模型 高可用架构一般情况下单机是没有办法保证高可用性的，所以高可用架构都是集群模式。而高性能模式有单机的高性能和集群的高性能。 鸡蛋篮子理论第三法则 - 冗余法则 2 计算高可用 计算高可用 - 任务分配 计算高可用任务分配架构设计关键点 计算高可用任务分配案例 高可用架构和高性能架构的区别是，高可用架构会有心跳检测
高可用+高并发+负载均衡架构设计
u010370157的博客
09-06 1万+
高可用+高并发+负载均衡架构设计 原创 2017-09-05
如何做高可用的架构设计
weixin_34217711的博客
06-06 783
本篇的题目其实比较大，所以在写的时候，我其实是有些“惶恐”的，怕这篇完成后有标题档的嫌疑。不过为了将自己过去多年的经历和最近1年改造架构的想法，做一个阶段性总结，还是有必要好好写一写的，所以如果写得不好，大家多包涵，欢迎大家补充。定义目标既然我们的目标是做到高可用，那么我们就有必要先明确清楚高可用的含义，并通过拆解目标，让目标可以被量化。按照我的理解，可以将目标按照以下三条进行拆解： ...
高可用架构设计
yifeng_peng的博客
03-08 776
可用性是什么？ 可用性是一种安全属性，是信息安全三要素中的 A： 保密性（Confidentiality） 完整性（Intergrity） 可用性（Availablility） 高可用是系统的重要目标，其重要程度取决于系统的定位。 例如： 军用系统中保密性最重要（宁可毁掉也不能将机密落入敌手） 商业系统中完整性最重要（宁愿服务终止，账本泄露也不容许篡改） 然而保密性和完整性不能很好地量化，也就不...
6.架构设计系列：如何设计高可用架构
白云
10-24 1121
高可用架构是一种设计和架构方法，它旨在确保系统在面对各种故障、异常、硬件或软件问题，以及不可预测的事件下，继续提供稳定的服务。简单来说，高可用就是让我们的系统在任何情况下都尽最大可能能够对外提供服务。高可用架构追求提供连续的服务，不受单点故障、服务中断或其他问题的影响。这通常涉及到复制、冗余、负载均衡和自动故障转移等技术手段，以保持系统的稳定性和可用性。对于一个持续迭代、不断演进的系统而言，我们没有办法将故障发生的概率降为0，能做的只有尽可能的预防故障的发生，以及当故障发生后缩短故障的恢复时间。
高可用架构设计思路
不积跬步无以至千里，不积小流无以成江海。一个喜欢学习分享的程序员
11-14 1069
什么是高可用 高可用HA（High Availability）是分布式系统架构设计中必须考虑的因素之一，它通常是指，通过设计减少系统不能提供服务的时间。 如何保障高可用 减少单点，服务器集群化 服务分层，并且每层都是集群，当集群中一个节点发生故障时，要自动将请求转移到可用节点上，此转移过程要对调用方透明 常见的服务分层思路 客户端层：典型调用方是浏览器browser或者手机应用APP 反向代理...
高可用系统架构总结
SO_zxn的博客
06-09 3286
高可用系统架构
mysql高可用架构设计
凯凯王的技术生涯
03-07 5287
主要介绍：复制功能介绍，mysql二进制日志，mysql复制拓扑，高可用框架，单点故障，读写分离和负载均衡一 mysql复制功能介绍        mysql复制功能提供分担读负载二 复制解决的问题     1 实现不同服务器上的数据分布         1.1 利用二进制增量进行        1.2 不需要太多的带宽        1.3 但是使用基于行的复制在进行大批量修改时会对带宽带来一定...
云上高可用系统-韧性设计模式
热门推荐
张彦峰的博客
01-28 4万+
同质化部署是一种部署策略，它指的是在部署时将系统的所有组件集成在一起，然后部署到系统的每个实例上。“拥抱故障”的理念强调了开发者需要在系统的全生命周期中考虑系统如何应对故障，确保系统在故障发生时的状态是符合预期的。因此，一个具备韧性的系统需要在部分故障的情况下仍能够正常运行，即使面对较大规模的故障，系统也能够提供大部分的服务。另外，在大规模系统中，事故定级是一个常见的做法，通过事故定级，可以更有针对性地采取措施，提高系统的韧性。这些模式的综合应用能够帮助构建更具韧性的系统，提高系统的可用性和稳定性。
架构设计参考 高可用架构
06-22
"架构设计参考 高可用架构"这一主题旨在深入探讨如何构建能够承受高流量、确保服务连续性和提供优秀用户体验的系统。这是一份面向架构师、软件架构设计者以及对运维设计感兴趣的从业人员的学习资料。 首先，我们要...
高可用架构 第1卷高可用架构 第1卷-高可用架构社区
04-04
《高可用架构 第1卷》是高可用架构社区推出的一部深入探讨系统高可用性设计与实践的专业书籍。高可用架构是指通过设计和构建能够容忍硬件、软件甚至网络故障的系统，来确保服务的持续性和稳定性。在互联网行业中，高...
基于LNMP架构搭建Discuz论坛
2301_80286384的博客
11-04 911
基于LNMP架构搭建Discuz论坛
从单层到 MVC，再到 DDD：架构演进的思考与实践
qq_38917476的博客
11-08 650
分布式架构和微服务架构通过将系统拆分为独立的模块或服务，实现了更高的扩展性、容错性和灵活性，解决了集群架构在数据一致性、功能耦合等方面的局限性。这种解耦设计不仅提升了系统的三高能力（高并发、高可用、高性能），还增强了系统的敏捷性，能够更好地适应现代互联网应用的复杂需求。接下来，我们将进一步探讨在分布式与微服务架构的基础上，如何从传统的 MVC 架构向领域驱动设计（DDD）架构演进，以更好地应对复杂业务场景。
FPGA视频GTH 8b/10b编解码转PCIE3.0传输，基于XDMA中断架构，提供工程源码和技术支持
qq_41667729的博客
11-05 827
FPGA视频GTH 8b/10b编解码转PCIE3.0传输，基于XDMA中断架构，提供工程源码和技术支持
Mysql学习笔记（一）：Mysql的架构
最新发布
kelai_6792的博客
11-08 435
在建立完成连接后，若没有其余的操作，那么该连接会处于空闲状态。这里使用show processlist来查看，这里，那些sleep为空闲连接，若sleep长时间不使用，会断开连接，该时间可以通过修改wait_timeout来修改，默认为8小时。该模块并不是很实用，因为每次对表有修改操作，都会清空该表的缓存，因此，该功能只对那些基本不会修改的表（配置表等），查询远远大于修改的表有一定的作用。Mysql会解析查询，创建内部数据结构（解析树），对其进行优化，如，重写查询，决定表的读取顺序，选择合适的索引等。
系统架构设计师论文：论湖仓一体架构及其应用
Programming Talk
11-08 116
统一数据存储：湖仓一体架构将数据湖和数据仓库的功能整合在一起，实现了统一的数据存储。这意味着企业可以在一个平台上同时处理和分析结构化、半结构化和非结构化数据，无需将数据迁移到不同的存储系统中。事务一致性：与传统的数据湖相比，湖仓一体架构提供了事务一致性的支持。这意味着在数据写入、更新和删除时，可以确保数据的一致性和完整性，避免了数据不一致带来的问题。高并发实时处理：湖仓一体架构支持高并发的实时数据处理和分析。
微服务架构高可用设计要点
"微服务架构设计的高可用性" 微服务架构设计的高可用性是指在分布式系统中，如何确保服务的可靠性和高可用性。微服务架构将业务逻辑分散到了各个微服务当中，微服务间通过网络层进行通信。网络通信带来了额外的延迟...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值