亚马逊云科技-迁移托管RDS开源提高效率创新GenAI

亚马逊云科技-迁移托管RDS开源提高效率创新GenAI

关键字: [yt, Managed Database Service, Open Source Migration, Database Efficiency, Cloud Innovation, Amazon Rds]

本文字数: 1700, 阅读完需: 8 分钟

导读

在一场亚马逊云科技活动上,演讲者们展示了”迁移到托管的Amazon RDS开源数据库,提高效率和创新能力”。在这场演讲中,他们探讨了如何将自行管理的开源数据库迁移至Amazon RDS;具体阐释了,对于PostgreSQL数据库,可以利用逻辑复制功能,而对于MySQL/MariaDB数据库,则可以使用mysqldump/mysqlloader或亚马逊云科技数据库迁移服务。该演讲阐述了Amazon RDS如何实现自动化数据库管理、高可用性和可扩展性、节省成本以及高效的数据库运营,让客户能够专注于应用程序开发和创新。

演讲精华

以下是小编为您整理的本次演讲的精华，共1400字，阅读时间大约是7分钟。

在云计算领域,亚马逊云科技(亚马逊云科技)彻底改变了企业处理数据库管理需求的方式。作为其旗舰服务之一,Amazon Relational Database Service(RDS)是一项全面托管的关系数据库服务,为寻求简化运营和促进创新的组织带来了革命性的变化。

亚马逊RDS于2009年推出,是亚马逊云科技最早期提供的服务之一,最初支持MySQL。自那时起,它已扩展到包括Oracle、SQL Server、PostgreSQL、MariaDB以及云原生的Amazon Aurora(提供MySQL和PostgreSQL兼容版本)等多种数据库引擎。无论选择哪种引擎,所有RDS产品都提供相同的托管服务优势,减轻了重复繁重的工作负担。

亚马逊RDS的核心理念是让用户使用他们喜爱的数据库引擎,同时提供强大的管理层来自动化传统上手动处理的常见任务。这种管理便利性带来了无缝体验,亚马逊云科技负责硬件供应、数据库修补和长期维护。此外,RDS提供了无缝扩展能力,使用户能够按需扩展资源,从一开始就无需过度配置。

RDS的一大亮点是其开箱即用的高可用性和可扩展性能力。只需几次点击,用户就可以启用跨多个可用区(AZ)的配置,这在同一区域内的地理位置远离的数据中心之间提供容错能力。此配置确保在基础设施出现问题时自动故障转移,主实例和备用实例之间的同步复制在Elastic Block Store(EBS)上以块级别进行,确保故障转移期间零数据丢失。

此外,RDS还提供了创建多达五个只读副本的能力,可用于从源数据库卸载读取工作负载,从而减轻压力并提高性能。这些只读副本可以部署在不同的可用区或甚至不同的区域,为分散的地理用户提供低延迟读取,或促进灾难恢复场景。

备份是任何数据库管理策略中不可或缺的一部分,Amazon RDS在这一领域也表现出色。它提供了两种主要的备份选择:自动备份和手动快照。自动备份功能设置了一个备份时间窗口,允许进行特定时间点的恢复,使用户能够将数据库回滚到所需的时间点。这是通过每天对数据库进行一次完整的自动快照,并每五分钟在Amazon Simple Storage Service (S3)中存储事务日志来实现的。在恢复操作期间,Amazon将自动快照与事务日志结合,重建至所需时间点。值得注意的是,由于底层EBS存储,这些备份对性能的影响极小。

另一方面,手动快照提供了更大的灵活性。用户可以使用Amazon命令行界面(CLI)或API创建数据库的快照,并将其存储在S3中以备后用。这些快照可以跨区域或账户复制,有助于实施经济高效的灾难恢复策略。需要注意的是,虽然自动备份的最长保留期为35天,但手动快照将一直保留,直至用户明确删除。

监控RDS数据库的健康状况和性能至关重要,Amazon提供了几种开箱即用的工具来帮助实现这一目标。CloudWatch指标提供了核心监控功能,跟踪CPU、内存和I/O利用率,同时还允许用户根据预定义的阈值设置警报。此外,Amazon RDS增强监控提供了更细粒度的主机级指标,能够以每秒一次的间隔捕获数据,而不是CloudWatch的每分钟一次。

然而,仅监控基础设施是不够的,这就是Performance Insights大显身手的地方。这个强大的工具分析了数据库内部发生的情况,识别资源密集型查询和潜在瓶颈。通过利用Performance Insights,用户可以优化工作负载的性能,确保应用程序运行顺畅。

亚马逊云科技(Amazon Web Services,亚马逊云科技)持续创新,90%的新RDS功能源于直接的客户反馈。支持Graviton 2实例即是典型案例,它利用亚马逊云科技自主设计的ARM处理器,与基于Intel的实例相比,提供了更优的性价比。内部基准测试显示,在RDS上,Graviton 2实例可比基于Intel的实例扩展更佳、处理更高工作负载,且无需客户进行任何移植或重新编译工作。

采用Amazon RDS的好处是可量化且令人信服的。根据去年对各种规模、行业和地区的RDS客户进行的IDC报告,客户在三年内的总体拥有成本(TCO)减少了39%。这种成本节约归功于亚马逊云科技管理关键的管理职能,让客户可集中资源优化应用程序需求。此外,该报告还显示,DBA团队的效率提高了37%,数据库部署速度加快了86%,利用RDS的高可用性和灾难恢复能力,客户的停机时间减少了惊人的97%。

这些可量化的好处得到了真实客户成功案例的进一步印证。个人理财管理服务Intuit Mint将数百个MySQL数据库实例和50TB的财务数据从Amazon Elastic Compute Cloud(EC2)迁移到了RDS。这一迁移使运营成本降低了25%,停机时间也从30分钟大幅减少到仅1分钟。

另一个值得关注的成功案例来自亚马逊自己的广告团队。在最近的一次迁移中,该团队将本地Oracle数据库迁移到了RDS PostgreSQL实例。这一过渡使他们能够在管理峰值流量时将吞吐量和机群容量加倍,同时还可利用RDS控制台和内置监控工具。据该团队表示,如果自行构建这些能力,将需要三年时间。

对于考虑将自管理的开源数据库迁移到Amazon RDS的组织,亚马逊云科技针对不同数据库引擎量身定制了一系列工具和方法。对于MySQL和MariaDB,可选方案包括从物理备份(如Percona XtraBackup)还原、逻辑备份和还原(如mysqldump),以及利用亚马逊云科技数据库迁移服务(DMS)。

在PostgreSQL的情况下,可用工具略有不同。虽然使用pg_dump和pg_restore进行逻辑转储是一种选择,但它可能会引入停机时间,尤其是对于较大的数据库。一种更高效的方法是利用PostgreSQL从版本10开始提供的内置逻辑复制功能。该方法利用变更数据捕获(CDC)首先获取初始数据副本,然后在源实例保持在线状态的同时将变更流式传输到目标实例。

视频演示展示了使用内置逻辑复制功能将自管理的PostgreSQL实例迁移到Amazon RDS PostgreSQL的过程。过程从在源实例上启用逻辑复制并为要迁移的所有表创建发布开始。接下来,将表架构导入到RDS实例,并创建对源发布的订阅。在整个迁移过程中,监控CDC进程,并在源实例上运行示例工作负载以模拟具有持续变更的生产环境。

迁移完成后,将流量切换到RDS实例,并执行数据验证。演示成功验证了源实例和目标实例之间的行计数和计算值完全匹配,展示了Amazon RDS的无缝迁移能力。

亚马逊关系型数据库服务(Amazon Relational Database Service, RDS)体现了亚马逊云科技致力于提供全面托管的数据库服务,赋予组织创新和提高效率的能力。凭借自动化、可扩展性、高可用性和强大的监控功能等全面的功能集,RDS减轻了无谓的繁重任务负担,使团队能够专注于交付推动业务增长的增值应用程序。无论是从自行管理的开源数据库迁移,还是一开始就利用RDS,组织都可以从RDS带来的可量化的成本节约、团队效率提升、更快的部署和减少停机时间中获益。随着亚马逊云科技根据客户反馈不断创新并推出新功能,云中数据库管理的前景一片光明。

总结

本演讲深入探讨了 Amazon RDS (关系数据库服务) 的优点和特性,这是一种托管数据库服务,能够简化管理任务,并提供可扩展性、高可用性和安全性。它强调了客户迁移到 RDS 所实现的成本节省、效率提升和减少停机时间。演示介绍了 RDS 的关键功能,如自动备份、读取副本、多 AZ 部署和监控工具。它还介绍了 Graviton2 实例,以获得更佳的性价比。

重点是利用 PostgreSQL 内置的逻辑复制功能,将自行管理的开源数据库(如 PostgreSQL)迁移到 RDS。现场演示展示了迁移过程,包括在源端创建发布、在 RDS 实例上设置订阅以及在模拟生产工作负载时监控数据复制,以说明如何在迁移切换期间最大程度地减少停机时间。

最后,演讲者鼓励通过免费层尝试 RDS,探索迁移文档,并利用亚马逊云科技支持资源,实现无缝过渡到托管数据库服务,从而促进创新和提高效率。

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者。提供200多类广泛而深入的云服务，服务全球245个国家和地区的数百万客户。亚马逊云科技致力于成为企业构建和应用生成式AI的首选，通过生成式AI技术栈，提供用于模型训练和推理的基础设施服务、构建生成式AI应用的大模型等工具、以及开箱即用的生成式AI应用。深耕本地、链接全球 – 在中国，亚马逊云科技通过安全、稳定、可信赖的云服务，助力中国企业加速数字化转型和创新，并深度参与全球化市场。