【基础架构】part-1 高可用策略总结

我の唯一

已于 2023-11-21 08:45:44 修改

阅读量182

点赞数 1

分类专栏：架构Node 文章标签： java 可用性测试系统架构

于 2023-11-20 18:00:36 首次发布

本文链接：https://blog.csdn.net/weiyi_1/article/details/134515239

版权

架构Node 专栏收录该内容

7 篇文章 0 订阅

订阅专栏

系统应该保持高可用性，以确保用户能够始终访问和使用系统。这可以通过设计冗余和容错机制来实现，如负载均衡、故障转移、备份和恢复策略等。

1.1、引入冗余

通过冗余架构设计，如使用多个服务器节点、多个数据中心或云区域，确保系统在一个节点或区域故障时仍然可用。

服务器冗余：通过在系统中引入多台服务器，将负载分散到多个服务器上，以提高系统的可用性。常见的服务器冗余方法包括主备（Active-Standby）模式和负载均衡。在主备模式中，一台服务器作为主服务器处理请求，而其他服务器作为备份服务器，当主服务器发生故障时，备份服务器可以接管服务。负载均衡则通过分发请求到多个服务器来平衡负载，当某台服务器发生故障时，其他服务器可以接管请求。
数据库冗余：使用数据库冗余来提高数据的可用性和容错能力。数据库冗余可以通过数据库复制（replication）来实现，即将数据复制到多个数据库实例中。这样，当一个数据库实例发生故障时，其他实例仍可以提供服务。常见的数据库复制方法包括主从复制和多主复制。
磁盘冗余：使用磁盘冗余来提高数据的可靠性和容错能力。常见的磁盘冗余技术包括磁盘阵列（RAID）和磁盘镜像。RAID技术将多个磁盘组合成一个逻辑卷，通过数据分布和冗余校验等技术提供数据的冗余和容错能力。磁盘镜像则是将数据同时写入两个磁盘，以保证数据的备份和可用性。
网络冗余：通过引入冗余的网络设备和网络路径来提高网络的可用性。常见的网络冗余技术包括冗余网络设备（如交换机和路由器）和冗余网络连接（如多个网络链路和多个ISP供应商）。

除了以上冗余的条件，还可以考虑数据库、地区等方面的冗余，提高服务的可用性，本质上是以时间换空间的策略。

1.2、负载均衡

将流量分布到多个服务器上，以平衡负载，提高系统的性能和容量。

负载均衡场景：

硬件负载均衡器（Hardware Load Balancer）：这是一种专用的物理设备，通常是一台独立的硬件设备，用于分发和平衡网络流量。硬件负载均衡器具有高性能和可靠性，并能处理大量的请求流量。
软件负载均衡器（Software Load Balancer）：这是在服务器端运行的软件，用于分发和平衡网络流量。软件负载均衡器可以部署在物理服务器、虚拟机或容器中。常见的软件负载均衡器包括Nginx、HAProxy和Apache HTTP Server的负载均衡模块等。
DNS负载均衡（DNS Load Balancing）：通过在DNS服务器中配置多个IP地址，将域名解析请求分发到不同的服务器上，实现负载均衡。DNS负载均衡可以根据不同的策略（如轮询、加权轮询、最少连接数等）选择合适的服务器。
防火墙负载均衡（Firewall Load Balancing）：防火墙负载均衡是通过在防火墙中配置多个服务器的IP地址和端口，将流量分发到不同的服务器上。这种负载均衡通常用于应对大规模的网络流量和DDoS攻击。
内容分发网络（Content Delivery Network, CDN）：CDN是一种分布式网络架构，通过将内容缓存到全球各地的边缘节点，将内容从最近的节点提供给用户，以提高内容的可用性和传输效率。CDN能够分发静态内容、动态内容和流媒体等。

负载均衡常用框架：

Nginx：Nginx是一个高性能的开源Web服务器和反向代理服务器，具有负载均衡功能。它可以通过配置反向代理和负载均衡模块来实现请求的分发和负载均衡。
HAProxy：HAProxy是一种高性能的开源负载均衡器和代理服务器。它支持多种负载均衡算法，并提供TCP和HTTP的负载均衡功能。
Apache HTTP Server：Apache HTTP Server是广泛使用的开源Web服务器，它具有负载均衡模块（如mod_proxy_balancer）用于分发请求和实现负载均衡。
Spring Cloud Gateway：Spring Cloud Gateway是一个基于Spring Framework构建的开源API网关，它提供了负载均衡的功能。它可以与Spring Cloud中的服务注册与发现组件（如Eureka、Consul）集成，实现服务的动态路由和负载均衡。
Netflix Ribbon：Netflix Ribbon是一个客户端负载均衡库，它可以与Spring Cloud等框架集成，提供在服务间进行负载均衡的能力。
Envoy：Envoy是一个开源的边缘和服务代理，具有负载均衡、服务发现和流量管理等功能。它被广泛应用于容器、微服务和云原生架构中。
Kubernetes：Kubernetes是一个流行的容器编排和管理平台，它提供负载均衡的功能。Kubernetes可以通过Ingress资源和Service资源来实现负载均衡和流量管理。

常用框架选型：

在进行负载均衡框架和技术的选型时，考虑以下因素：

性能需求：根据负载的规模和性能要求，选择具有足够性能的负载均衡器。
功能需求：确定所需的功能，如负载均衡算法、健康检查、故障转移、SSL终止等。
可扩展性：考虑负载均衡器的可扩展性，以满足未来的增长需求。
集成和兼容性：确保所选框架与现有技术栈和环境的集成和兼容性。
社区支持和文档：评估框架的社区活跃度和文档资源，以便获取支持和解决问题。

Nginx:
- 优点：高性能、低内存消耗、支持反向代理和负载均衡、配置灵活、可扩展性好。
- 缺点：较复杂的配置语法、缺乏一些高级功能（如SSL终止）。
选型建议：Nginx适用于需要高性能和灵活配置的场景，特别是作为反向代理和负载均衡器。它在Web服务器和应用服务器之间分发请求效果良好。
HAProxy:
- 优点：高性能、低延迟、灵活的配置、支持多种负载均衡算法、健康检查和故障转移。
- 缺点：不支持HTTP/2，配置相对复杂。
选型建议：HAProxy非常适合作为高性能负载均衡器和代理服务器，特别是在需要精细控制和高级功能的场景下。
Apache HTTP Server:
- 优点：广泛使用、成熟稳定、支持多种模块和扩展、可配置性高。
- 缺点：性能相对较低、处理大量并发连接能力有限。
选型建议：Apache HTTP Server适合于传统的Web服务器场景，但在高并发和大规模负载的情况下，可能需要额外的负载均衡器。
Spring Cloud Gateway:
- 优点：与Spring Cloud生态系统集成、动态路由、负载均衡、过滤器和断路器等功能。
- 缺点：相对较新，可能存在一些稳定性和成熟度方面的挑战。
选型建议：如果您正在构建基于Spring Boot和Spring Cloud的微服务架构，Spring Cloud Gateway是一个良好的选择，可与服务注册与发现组件集成实现负载均衡。
Netflix Ribbon:
- 优点：与Spring Cloud集成、客户端负载均衡、支持多种负载均衡算法。
- 缺点：可能需要额外的配置和依赖，不适用于非Java环境。
选型建议：如果您正在使用Spring Cloud框架构建微服务应用，并且需要在客户端实现负载均衡，Netflix Ribbon是一个不错的选择。

1.3、故障转移

通过使用故障转移技术，如热备份、冷备份或故障切换，将流量从故障节点转移到备用节点，以确保系统的连续性。

常用故障转移的策略：

负载均衡器故障转移：使用负载均衡器作为前端，将流量分发到多个后端服务器。如果一个后端服务器发生故障，负载均衡器可以自动将流量重定向到其他可用服务器上，确保服务的连续性。
服务健康检查：负载均衡器或其他监控组件可以定期对服务器进行健康检查，以检测故障和异常。如果服务器被标记为不可用，负载均衡器将停止将流量发送到该服务器，直到其恢复正常。
故障自动恢复：通过自动化脚本或监控系统，实现故障自动恢复。例如，当检测到服务器故障时，自动将其从负载均衡器中移除，并启动备用服务器来接管流量。
冗余备份：使用冗余备份的架构，将服务复制到多个独立的服务器上。如果一个服务器发生故障，其他备份服务器可以接管流量并提供服务。
数据复制和同步：对于具有数据存储的应用程序，使用数据复制和同步机制确保数据的冗余和一致性。常见的方法包括主从复制、多主复制和分布式数据库等。
快速故障检测和切换：通过实时监控和故障检测机制，快速发现和响应故障。一旦故障被检测到，系统可以自动或手动进行切换，将流量转移到备用服务器或其他可用节点上。
热备份和冷备份：热备份指备用服务器处于活动状态，并随时准备接管流量。冷备份指备用服务器处于闲置状态，只在主服务器故障时才启动并接管流量。
容器编排和自动扩展：使用容器编排平台（如Kubernetes）和自动扩展策略，根据负载情况自动调整容器实例数量，并确保足够的资源来处理流量和故障。

1.4、备份和恢复策略

定期备份数据，并建立有效的恢复策略，以便在数据丢失或系统故障时能够快速恢复。

完全备份（Full Backup）：将整个系统或应用程序的数据和配置进行完全备份。当发生故障时，可以使用完全备份来还原系统到正常状态。完全备份通常比较耗时和占用存储空间。
增量备份（Incremental Backup）：只备份自上次备份以来发生变化的数据。增量备份通常比完全备份快速且占用较少的存储空间。在恢复时，需要先还原最近的完全备份，然后逐个应用增量备份。
差异备份（Differential Backup）：备份自上次完全备份以来发生变化的数据。差异备份相对于增量备份来说，恢复时只需要应用最近一次的差异备份和最近一次完全备份。
冷备份（Cold Backup）：备份系统或应用程序时，将其停机或下线，然后进行备份操作。冷备份对系统性能和用户体验有较小的影响，但在备份期间，系统是不可用的。
热备份（Hot Backup）：在系统运行时进行备份操作，而不需要停机或下线。热备份可以持续提供服务，并减少对用户的影响，但可能会对系统性能产生一定的负载。
备份到远程位置：将备份数据存储在远程位置，以提供更高的可靠性和容灾能力。远程备份可以防止本地故障（如硬件故障、天灾等）导致数据丢失。
容灾备份（Disaster Recovery Backup）：在备份过程中考虑整个系统的容灾和恢复能力。这包括备份数据、配置文件、镜像/快照、事务日志等，以确保在系统发生重大故障时可以尽快恢复。
自动化备份和恢复：使用自动化工具和脚本定期执行备份操作，并实施自动化的恢复流程。这可以减少人为错误和提高备份和恢复的效率。

# 数据库备份脚本
# 执行脚本（每天两点自动备份）
0 2 * * * /path/to/database_backup.sh

#脚本
#!/bin/bash

# 数据库配置
DB_HOST="localhost"
DB_USER="username"
DB_PASSWORD="password"
DB_NAME="database_name"

# 备份目录
BACKUP_DIR="/path/to/backup/directory"

# 备份文件名（带有日期和时间戳）
BACKUP_FILENAME="${DB_NAME}_$(date +'%Y%m%d_%H%M%S').sql"

# 执行备份命令
mysqldump -h $DB_HOST -u $DB_USER -p$DB_PASSWORD $DB_NAME > $BACKUP_DIR/$BACKUP_FILENAME

# 检查备份是否成功
if [ $? -eq 0 ]; then
    echo "数据库备份成功: $BACKUP_DIR/$BACKUP_FILENAME"
else
    echo "数据库备份失败"
fi