DAT318 | 使用 Amazon Aurora 构建可伸缩的多租户数据库

DAT318 | 使用 Amazon Aurora 构建可伸缩的多租户数据库

关键字: [Amazon Web Services re:Invent 2023, Amazon Aurora, Multi-Tenant Database Design, Aurora Capabilities, Vmware Database Consolidation, Database Scaling, Operational Efficiency]

本文字数: 2300, 阅读完需: 12 分钟

视频

导读

本次分享将深入研究 Amazon Aurora 的差异化功能，比如 Amazon Aurora Serverless v2、read replicas、Aurora Global Database和Amazon RDS Proxy，详细了解 Aurora 如何帮助您构建具有成本效益和可伸缩的多租户数据库。拥有多达百万个数据库的公司难以平衡操作复杂性和成本之间的关系，它能够为每个工作负载提供单独的数据库以及最佳级别的隔离和最细粒度的操作控制，但它的成本效益可能不高，或者无法提供有效的解决方案。了解 Aurora 是如何通过 VMware 辅助 CloudHealth 整合62个 Aurora 集群上的166个自管理 MySQL 数据库，从而控制了运营和成本的效益。

演讲精华

以下是小编为您整理的本次演讲的精华，共2000字，阅读时间大约是10分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。

在构建可扩展的多租户数据库方面，尽管可能是一项复杂的任务，但亚马逊云科技Amazon Aurora（一个完全托管的、与MySQL和PostgreSQL兼容的关系型数据库）为此提供了支持。在re:Invent的一次深度讨论中，Aurora团队的产品经理Anum Jang Sher将与VMware的软件工程师Peter Fein共同探讨Aurora在多租户工作负载方面的优势。

他们首先探讨了在设计面向多租户的环境时需要考虑的关键因素：隔离、规模、成本和操作复杂性。Aurora通过提供创新功能解决了这些领域的各种问题。在深入探讨之后，他们概述了Aurora在性能、可用性和自动缩放能力方面的架构。

接下来，他们将详细介绍VMware如何利用Aurora将166个自我管理的MySQL数据库整合到仅92个Aurora集群中。Peter分享了VMware将其CloudHealth SaaS平台迁移到Aurora的过程，克服了障碍并实现了显著的好处。

在为多个租户设计数据库时，需要考虑四个主要因素：

1. 隔离：为了保持租户的数据得到适当分离，最高的隔离要求是一个租户一个数据库集群。然而，以这种方式支持成百上千个租户需要过多的资源。相反，可以将租户打包在一起放入多租户集群中。Aurora支持各种隔离级别——表级、行级、模式级或数据库级。VMware使用PostgreSQL提供的行级安全来隔离在Aurora集群上打包的模式内的租户数据。

2. 规模：多租户数据库必须灵活地适应租户存储大小、工作负载和时间模式的变化。Aurora的分布式存储可以自动缩放，而计算可以垂直和水平缩放。VMware看到了存储需求发生了巨大的变化——他们的最大租户需要3.5TB,超过了数千个较小租户的存储。Aurora的存储和计算分离允许无缝地缩放资源。

3. 成本：目标是最大化资源利用率并最小化每租户的成本。Aurora Serverless v2自动缩放计算，所以你只为你使用的容量付费。快速克隆避免了昂贵的数据副本。VMware使用了Aurora Serverless和快速克隆来优化成本。Serverless确保了只为你实际使用的计算容量付费,而克隆避免了重复的数据副本。

监控、管理和在集群间重新分配租户的过程应尽可能地简单。Aurora提供了全面的可见性、自动化和快速的租户重新安排功能。

VMware利用CloudWatch、Performance Insights、PagerDuty和Wavefront来监控Aurora集群。通过快速的数据库克隆，可以实现高效的租户重新分配和资源平衡。

Aurora的创新架构包括隔离、扩展、成本和操作。存储层在可用性区域之间分布以实现容错，并能根据数据量的增减自动进行上下扩展。计算层可以充分利用多达16个读取副本来实现读取扩展，而存储和计算则独立扩展以满足工作负载的需求。

对于全球范围内的扩展，Aurora Global Database通过在地区之间同步复制来实现。这样可以在本地进行读取操作以提供低延迟，同时将写入操作转发到主要地区。

为了提高连接资源的利用率，RDS Proxy会对连接进行池化和共享，从而简化扩展过程并提高可用性和安全性。

总的来说，Aurora的云原生架构为多租户工作负载提供了所需的性能、可用性和自动扩展能力。

VMware向Aurora的迁移过程

Peter分享了VMware将其CloudHealth平台迁移到Aurora背后的故事。CloudHealth是一个云管理解决方案，用于处理和分析大量客户数据。

在迁移开始时，他们在EC2上运行了166个自行管理的MySQL 5.6实例，但很快遇到了扩展限制。因此，他们花了整整一年的时间为这个项目将合并到Aurora。他们的目标是通过Aurora提高运营效率、性能、可靠性和优化成本。

迁移过程从验证基准测试结果开始，然后逐步将内部租户迁移到Aurora。由于Aurora与MySQL 5.6具有良好的即插即用兼容性，因此可以轻松地进行模式迁移。

自定义分片工具在Aurora上继续顺利运行。Peter强调了Aurora能够立即创建集群、具有独立的存储和计算扩展能力以及支持最多16个读取副本的优势。

然而，在年中时，他们遇到了连接争用和问题，需要进行性能调整，并暂时暂停迁移。在亚马逊云科技的协助下，他们添加了RDS代理来池化连接，并优化了应用程序以更好地利用Aurora。

CPU使用率降低了64%，从超过5,000个vCPU减少到不到2,000个

• 每个集群的客户数量增加了7倍，从约200增加到约1500
• 跨集群的缓存命中率为40%
• 更快的写入和DDL更改使得速度更高
• 到年底节省了20%的成本，并仍在增加
• 警报之间的时间大大改善，每周只有几次

对于运营团队，数据库维护时间从2名全职员工减少到0，为团队释放了执行战略计划的时间。现代基础设施更容易理解和管理。

彼得强调了一些关键经验教训，如接受关于优化Aurora的培训，将Aurora和RDS代理配对以实现零停机时间，以及通过集群化利用Aurora的性能。

他建议一些小的改进，如在使用RDS代理时添加客户端可见性，以及在性能洞察中添加集群视图。

总的来说，将他们的庞大多租户环境迁移到Aurora对VMware带来了巨大的好处。Aurora的专用功能允许在工作负载上整合的同时实际上提高了性能、可用性和成本效率。

下面是一些演讲现场的精彩瞬间：

彼得·费因（Peter Fein）是VMware公司的软件工程师，他在亚马逊云科技的re:Invent上进行了自我介绍。

在讨论为多租户设计数据库时需要考虑的关键因素时，如隔离性、可扩展性、成本和运营复杂性等方面，这是一个非常重要的时刻。

领导者们探讨了如何通过更有效地管理空闲连接来优化数据库资源。

领导者们还讨论了将租户打包到多租户集群中可能面临的挑战，包括无法根据特定租户的需求进行调整以及不愿意实施影响所有租户的改变。

Aurora快速数据库克隆功能可以在不复制数据的情况下，在几分钟内创建一个指向原始存储层的克隆集群，从而提供了一种经济高效的方式来创建特定租户的数据库。

领导者们讨论了亚马逊云科技如何通过真正的多租户架构来支持单个数据库实例上的数百个客户，实现了规模扩张。

总结

本次演讲主要探讨了如何利用Amazon Aurora构建可扩展的多租户数据库。讲者们详细讨论了多租户数据库设计的关键考量，包括隔离性、可扩展性、成本和操作复杂性等方面。

Aurora具备多种功能，以应对多租户数据库所带来的挑战。其存储与计算的分离特性允许独立扩展。您可以根据数据增长情况自动调整存储规模，并通过增加读取副本来横向扩展计算能力。全球数据库可以在多个地区进行扩展，从而实现全球范围内的低延迟读取。快速的数据库克隆功能可以避免完整数据复制，从而加速租户重新分配的速度。Serverless v2支持在配置的最小值和最大值之间自动调整容量。RDS代理有助于管理和池化数据库连接。各类监控工具提供了对群集和单个数据库的可视化。

讲者们分享了一个关于VMware如何将166个自主管理的MySQL数据库整合到Aurora的真实案例。通过这种方式，他们实现了显著的成本节省、运营效率提升和性能优化。工作负载的CPU需求降低了64%。他们在每个集群中将模式密集合并了近7倍。由于更快的写入速度和40%的缓存命中率，性能超过了预期。RDS代理解决了之前的连接问题。该项目在其之前的基础设施上实现了20%的成本节省。

总的来说，Aurora的专用分布式存储、独立扩展、全球分布、快速克隆、自动扩展和强大的监控功能使其成为处理可扩展的多租户数据库工作负载的理想选择。VMware的案例展示了这些优势在实际应用中带来的收益。

演讲原文

想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！

2023亚马逊云科技re:Invent全球大会 - 官方网站

点击此处，一键获取亚马逊云科技全球最新产品/服务资讯！

点击此处，一键获取亚马逊云科技中国区最新产品/服务资讯！

即刻注册亚马逊云科技账户，开启云端之旅！

【免费】亚马逊云科技“100 余种核心云服务产品免费试用”

【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”

亚马逊云科技是谁？

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者，自 2006 年以来一直以不断创新、技术领先、服务丰富、应用广泛而享誉业界。亚马逊云科技可以支持几乎云上任意工作负载。亚马逊云科技目前提供超过 200 项全功能的服务，涵盖计算、存储、网络、数据库、数据分析、机器人、机器学习与人工智能、物联网、移动、安全、混合云、虚拟现实与增强现实、媒体，以及应用开发、部署与管理等方面；基础设施遍及 31 个地理区域的 99 个可用区，并计划新建 4 个区域和 12 个可用区。全球数百万客户，从初创公司、中小企业，到大型企业和政府机构都信赖亚马逊云科技，通过亚马逊云科技的服务强化其基础设施，提高敏捷性，降低成本，加快创新，提升竞争力，实现业务成长和成功。