AWS 专题学习 P16 (Disaster Recovery & Migrations)

专题总览

专题内容总览和系列博客目录
https://blog.csdn.net/weixin_40815218/article/details/135590291
辅助资料(PDF)
https://download.csdn.net/download/weixin_40815218/88741566

Disaster Recovery Overview

• 任何对公司业务连续性或财务状况产生负面影响的事件都被称为灾难
• 灾难恢复（DR）是关于为灾难做准备和恢复的过程
• 什么样的灾难恢复？
  • 在本地 => 在本地：传统的灾难恢复方法，非常昂贵
  • 在本地 => AWS 云：混合恢复
  • AWS 云区域 A => AWS 云区域 B
• 需要定义两个术语：
  • RPO: Recovery Point Objective
  • RTO: Recovery Time Objective

1. RPO and RTO

2. Disaster Recovery Strategies

• 备份和恢复
• Pilot Light（试点灯）
• 温暖待命
• 热备方案 / 多地点方案

3. Backup & Restore（High RPO）

4. Disaster Recovery – Pilot Light (试点灯)

• 云上始终运行着应用的小版本
• 对于关键核心（试点灯）非常有用
• 与备份和恢复非常相似
• 由于关键系统已经启动，比 Backup 和 Restore 更快

5. Warm Standby（暖待命）

• 完整系统已经启动并运行，但规模较小
• 发生灾难时，可以扩展到生产负载

6. Multi Site / Hot Site Approach

• 很低的 RTO（分钟或秒）- 非常昂贵
• 完整的生产规模运行在 AWS 和本地

7. All AWS Multi Region

8. Disaster Recovery Tips

• Backup
  • EBS 快照，RDS 自动备份 / 快照，等等…
  • 定期推送到 S3 / S3 IA / Glacier，生命周期策略，跨区域复制
  • 来自 On-Premise (本地)：Snowball 或 Storage Gateway
• High Availability
  • 使用 Route53 将 DNS 迁移到不同的区域
  • RDS 多 AZ，ElastiCache 多 AZ，EFS，S3
  • 作为从直连中恢复的 Site-to-Site VPN
• Replication
  • RDS 复制（跨区域），AWS Aurora + 全球数据库
  • 从本地到 RDS 的数据库复制
  • 存储网关
• Automation
  • 使用 CloudFormation / Elastic Beanstalk 重新创建一个全新的环境
  • 如果警报失败，使用 CloudWatch 恢复 / 重启 EC2 实例
  • 用于定制自动化的 AWS Lambda 函数
• Chaos
  • Netflix 有一个“simian-army”随机终止 EC2

9. DMS - 数据库迁移服务

• 快速安全地将数据库迁移到 AWS，具有弹性和自我修复能力
• 在迁移过程中，源数据库仍然可用
• 支持：
  • 同构迁移：例如 Oracle 到 Oracle
  • 异构迁移：例如 Microsoft SQL Server 到 Aurora
• 使用 CDC 进行连续数据复制
• 必须创建一个 EC2 实例来执行复制任务

DMS 来源和目标

来源	目标

• 本地和 EC2 实例数据库：

Oracle，MS SQL Server，MySQL，MariaDB，PostgreSQL，MongoDB，SAP，DB2

• Azure：Azure SQL 数据库
• Amazon RDS：包括 Aurora 在内的所有类型
• Amazon S3
  |
• 本地和 EC2 实例数据库：

Oracle，MS SQL Server，MySQL，MariaDB，PostgreSQL，SAP

• Amazon RDS
• Amazon Redshift
• Amazon DynamoDB
• Amazon S3
• ElasticSearch 服务
• Kinesis Data Streams
• DocumentDB
  |

AWS Schema Conversion Tool（SCT）

• 将数据库模式从一种引擎转换为另一种引擎
• 示例 OLTP：（SQL Server 或 Oracle）到 MySQL，PostgreSQL，Aurora
• 示例 OLAP：（Teradata 或 Oracle）到 Amazon Redshift
• 为了优化数据转换，建议使用计算密集型实例
• 如果您迁移的是相同的数据库引擎，则无需使用 SCT
  • 例如：本地 PostgreSQL => RDS PostgreSQL
  • 数据库引擎仍然是 PostgreSQL（RDS 是平台）

DMS - 连续复制

RDS 和 Aurora MySQL 迁移

• RDS MySQL 到 Aurora MySQL
  • 选项 1：将 RDS MySQL 的数据库快照恢复为 MySQL Aurora 数据库
  • 选项2：从 RDS MySQL 创建 Aurora 只读副本，当复制延迟为 0 时，将其升级为独立的数据库集群（可能需要时间和费用）
• 外部 MySQL 到 Aurora MySQL
  • 选项1：
    • 使用 Percona XtraBackup 在 Amazon S3 中创建文件备份
    • 从 Amazon S3 创建 Aurora MySQL 数据库
  • 选项2：
    • 创建 Aurora MySQL 数据库
    • 使用 mysqldump 实用程序将 MySQL 迁移到 Aurora（比S3方法较慢）
• 如果两个数据库都在运行，可以使用 DMS

RDS 和 Aurora PostgreSQL 迁移

• RDS PostgreSQL 到 Aurora PostgreSQL
  • 选项1：将 RDS PostgreSQL 的数据库快照恢复为 PostgreSQL Aurora 数据库
  • 选项2：从 RDS PostgreSQL 创建 Aurora 只读副本，当复制延迟为 0 时，将其升级为独立的数据库集群（可能需要时间和费用）
• 外部 PostgreSQL 到 Aurora PostgreSQL
  • 创建备份并将其放入 Amazon S3
  • 使用 aws_s3 Aurora 扩展导入备份
• 如果两个数据库都在运行，可以使用 DMS

On-Premise strategy with AWS

• 可以将 Amazon Linux 2 AMI下载为虚拟机（.iso格式）
  • VMWare，KVM，VirtualBox（Oracle VM），Microsoft Hyper-V
• VM 导入/导出
  • 将现有应用程序迁移到 EC2
  • 为本地虚拟机创建灾难恢复存储库策略
  • 可以将虚拟机从 EC2 导出到本地
• AWS Application Discovery Service
  • 收集有关本地服务器的信息以规划迁移
  • 服务器利用率和依赖关系映射
  • 使用 AWS Migration Hub 进行跟踪
• AWS 数据库迁移服务（DMS）
  • 在 本地 => AWS，AWS => AWS，AWS => 本地 之间进行复制
  • 适用于各种数据库技术（Oracle，MySQL，DynamoDB等）
• AWS 服务器迁移服务（SMS）
  • 将本地实时服务器增量复制到 AWS

10. AWS 备份

• 完全托管的服务
• 在 AWS 服务中集中管理和自动化备份
• 无需创建自定义脚本和手动过程
• 支持的服务：
  • Amazon EC2 / Amazon EBS
  • Amazon S3
  • Amazon RDS（所有数据库引擎）/ Amazon Aurora / Amazon DynamoDB
  • Amazon DocumentDB / Amazon Neptune
  • Amazon EFS / Amazon FSx（Lustre和Windows文件服务器）
• AWS 存储网关（卷网关）
• 支持跨区域备份
• 支持跨账户备份
• 支持支持的服务的PITR
• 按需和计划备份
• 基于标签的备份策略
• 您可以创建名为备份计划的备份策略
  • 备份频率（每12小时，每天，每周，每月，cron表达式）
  • 备份窗口
  • 过渡到冷存储（从不，天，周，月，年）
  • 保留期（始终，天，周，月，年）

AWS Backup Vault Lock

• 对存储在 AWS 备份库中的所有备份强制执行 WORM（一次写入多次读取）状态
• 为备份提供额外的防护层，防止意外或恶意删除操作以及缩短或更改保留期
• 即使是根用户在启用时也无法删除备份

AWS Application Discovery Service

• 通过收集有关本地数据中心的信息来规划迁移项目
• 服务器利用率数据和依赖关系映射对迁移至关重要
• 无代理发现（AWS 无代理发现连接器）
  • 虚拟机清单、配置和性能历史，如 CPU、内存和磁盘使用情况
• 代理基础发现（AWS 应用程序发现代理）
  • 系统配置、系统性能、正在运行的进程以及系统之间的网络连接详细信息
• 生成的数据可在 AWS 迁移中心中查看

AWS Application Migration Service (MGN)

• CloudEndure Migration 的 “AWS 演进”，替代 AWS 服务器迁移服务（SMS）
• 提供一种简化将应用程序迁移到 AWS 的提升和迁移解决方案
• 将物理、虚拟和云端服务器转换为在 AWS 上本地运行
• 支持广泛的平台、操作系统和数据库
• 最小化停机时间，降低成本

11. VMware Cloud on AWS

• 一些客户使用 VMware Cloud 管理他们的本地数据中心
• 他们希望将数据中心容量扩展到 AWS，但继续使用 VMware Cloud 软件
• …进入 VMware Cloud on AWS
• 使用案例
  • 将基于 VMware vSphere 的工作负载迁移到 AWS
  • 在基于 VMware vSphere 的私有、公共和混合云环境中运行生产工作负载
  • 拥有灾难恢复策略

将大量数据传输到 AWS

• 例子：将 200 TB 的数据传输到云端。我们有一个 100 Mbps 的互联网连接。
• 通过互联网/站点到站点 VPN：
  • 立即设置
  • 需要 200（TB）_ 1000（GB）_ 1000（MB）* 8（Mb）/ 100Mbps = 16,000,000秒 = 185天
• 通过直连 1 Gbps：
  • 长时间的一次性设置（超过一个月）
  • 需要 200 (TB) *_ 1000 (GB) * _1000 (MB) * 8 (MB) / 1 Gbps = 1,600,000秒 = 185天
• 通过 Snowball：
  • 需要同时使用 2 到 3 个 Snowball 设备
  • 大约需要 1 周完成端到端的传输
  • 可以与 DMS 结合使用
• 对于持续复制/传输：站点到站点 VPN或DX 与 DMS或DataSync