re:Invent 2023 | 深入了解 Amazon Aurora 及其创新技术

关键字: [Amazon Web Services re:Invent 2023, Aurora, Aurora Architecture, Aurora Storage, Aurora Innovations, Aurora Serverless, Limitless Database]

本文字数: 1600, 阅读完需: 8 分钟

视频

如视频不能正常播放，请前往bilibili观看本视频。>> https://www.bilibili.com/video/BV1mu4y1V7Uk

导读

Amazon Aurora 采用创新架构，能够将计算与存储解耦，并且具有全局数据库和低延迟读取副本等高级功能，重新定义了关系数据库的含义。Aurora 是一种现代数据库服务，可提供无与伦比的性能和大规模高可用性，具有完全开源的 MySQL 和 PostgreSQL 兼容性。在本讲座中，您将深入了解 Aurora 提供的最令人兴奋的新功能，包括 Aurora I/O-Optimized、Aurora zero ETL 与 Amazon Redshift 的集成，以及 Aurora Serverless v2。 了解添加 pgvector 扩展如何允许存储向量嵌入并支持生成式 AI 的向量相似性搜索。

演讲精华

以下是小编为您整理的本次演讲的精华，共1300字，阅读时间大约是6分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。

格雷厄姆·麦克阿里斯特，作为亚马逊云科技的高级首席工程师，通过详细介绍自己的职业背景及目标，开始了他的演讲。他的目标是深入剖析亚马逊Aurora的架构和创新。格雷厄姆解释道，了解Aurora的独特架构和新近创新，观众可以更好地理解Aurora如何有利于运行数据库和应用。

格雷厄姆接着详细描述了Aurora的架构，并强调了Aurora存储与大多数数据库的不同之处。其主要区别在于，Aurora卷默认跨三个可用性区域（AZ）分布。在每个AZ中，有数千个存储服务器，数据以10GB的分段存储在这些服务器上。在启动Aurora集群时，您将获得一个跨AZ分布的存储卷作为基础。您添加的第一个数据库实例是应用程序连接进行交易的读写实例。格雷厄姆展示了读写实例如何使用四票多数投票机制将数据写入6个存储位置，每个AZ中有2个，以确保即使在整个AZ发生故障时仍能提供可用性。

与传统数据库写入不同，Aurora仅将以更改的数据作为日志记录而非整个块。这种新颖的方法最小化了存储开销和网络流量。对于读取，Aurora可以通过利用其分布式元数据架构从一个地方检索数据。格雷厄姆解释了如何通过对等复制持续保持存储位置的同步。如果出现任何根本问题，自动化修复机制可以检测异常并恢复数据冗余。

关于读取扩展，格雷厄姆提到Aurora允许在不同AZ中创建多达15个只读副本。通过直接将只读实例附加到共享存储层，Aurora提供了惊人的读取扩展而无需完整的存储副本。格雷厄姆强调了只读实例如何能够使用不同的实例类型和系列来满足特定使用情形。

接下来，格雷厄姆介绍了Aurora最受欢迎的特性之一——全球数据库。这个功能实现了跨区域的灾难恢复和低延迟的区域访问。通过将副本复制到另一个地区的第二个Aurora卷，您可以实现对区域性故障的弹性。

格雷厄姆认为，Aurora的并行复制架构是其高吞吐量的关键所在。相较于传统的单线程逻辑复制方法，Aurora能够在各个地区之间每秒复制超过16TB的数据，同时保持低于秒级的按需灾难恢复延迟。与本地读取副本类似，全球数据库允许在次要区域启用只读实例。格雷厄姆观察到，客户通常会利用这一特性进行工作负载平衡、向新地区迁移以及通过缩短读取延迟来优化用户体验。他举了一个例子，某个客户每天都会在不同地区之间移动其Aurora全球数据库的只读实例三次，以遵循太阳路径并优化读取性能。

在管理全球的Aurora覆盖方面，格雷厄姆介绍了新的“切换”命令如何有助于Aurora全球数据库的有序测试和故障转移。为了测试灾难恢复的准备情况，可以将第一个区域切换为只读，并在将读写功能切换到次要区域之前允许复制排空。在测试结束后，该过程可以自动反转以恢复原有角色。

针对实际的灾难场景，格雷厄姆解释了“故障转移”命令能在大约1-2分钟内将写入功能切换到辅助区域，从而实现快速的恢复时间目标。一旦主要区域重新可用，Aurora将自动重新同步数据并重新建立复制以恢复数据冗余。

格雷厄姆强调，客户可以设置多达五个Aurora全球数据库的辅助区域。这些区域可以包含不同的实例类型，实现非常灵活且具有弹性的全球数据库架构。

相较于Aurora，Aurora仅将更改的数据作为日志记录写入，并在后台持续合并这些日志。这种方法将存储I/O降低超过5倍，并将崩溃恢复时间缩短至秒级。Graham描述了Aurora的架构如何使得添加强大功能成为可能，例如快速的崩溃一致克隆和备份卸载。

Graham还概述了新的优化读取特性，该特性将SSD缓存层更接近计算实例。对于无法完全在内存中处理的工作负载，基于NVMe的缓存可以显著降低存储读取延迟。Graham详细解释了如何使用最新的带有本地连接SSD的实例类型，如何将基于分层的缓存扩展到4倍。智能缓存热点数据块为大规模数据集提供高达9倍的更好的性能，而不会消耗过多内存。

除了架构进步之外，Graham强调了针对Aurora的新IO优化定价模型。这个模型提供了更可预测且一致的I/O成本，而不受工作负载变化的影响。Graham解释了为什么I/O优化模型非常适合向存储发出超过25%请求的高吞吐量交易应用程序。亚马逊云科技已经看到一些客户使用I/O优化模型将I/O成本降低超过50%。

在Aurora MySQL方面，Graham概括了几项最近新增的重要功能。这包括支持最新的MySQL 8.0版本以及进一步优化MySQL 5.7。Graham强调了增强的binlog功能用于改变数据捕获，与传统MySQL binlog相比，其开销减少到约5-7%。其他值得注意的MySQL特性包括并行导出到S3，允许以最高4倍的速度提取TB级别的数据,以及本地写入转发。写入转发使只读实例能够通过透明地将写操作路由到读写实例来处理写操作，从而消除了对复杂读写分离的需求。

在Aurora PostgreSQL方面，Graham强调了为了保持与新的PostgreSQL版本同步而加速升级过程的工作。主要版本升级现在快2倍。PostgreSQL还增加了对主要扩展的支持,如pg_vector,它直接在PostgreSQL中处理新兴的AI和机器学习工作负载。

其他提及的PostgreSQL创新包括用于CDC工作负载的逻辑复制缓存，提供高达5倍的更好的复制性能，以及预览版与简化高可用性主动-主动集群构建的pg_active扩展的集合成。

Graham总结了Aurora PostgreSQL团队已经提供的PostgreSQL 15预览版，展示了他们对保持创新前沿的令人印象深刻的承诺。

Graham简要介绍了添加到Aurora的新无服务器功能，包括自动缓冲池调整大小和使用无服务器进行新的多主控制无限数据库功能。然后，他转向了蓝色绿色部署工作流程，以简化数据库升级和拓扑更改的管理。这种自动化有助于解决像主要版本升级这样的复杂任务的停机时间最小化。

一个重点介绍的工作流程是从MySQL 5.7升级到8.0。蓝色绿色部署克隆现有的Aurora群集，将其升级到8.0，复制数据，然后无缝切换到新群集的连接。这种方法防止了应用程序更改，并且比手动升级过程简单得多。

Graham还概述了Aurora零ETL，它提供了从Aurora到Amazon Redshift的接近实时复制。通过处理底层CDC管道，此功能使设置分析管道大为简化。Zero-ETL保持了亚秒级的复制延迟，以确保Redshift数据的更新。

最新的创新，Graham介绍了Aurora无限数据库。这有效地将完全管理的分片带到Aurora的存储架构中，以实现无限的扩展能力。Graham解释了像重新分片、查询路由和数据一致性这样的常见分片痛点，这些问题是Limitless Database旨在解决的。

通过在分布式存储结构中分区表，Limitless Database可以实现极高的交易吞吐量和存储容量。Graham解释了如何像服务器无基础设施和全球一致读取这样的创新如何产生与自组装分片相比的独特优势。

在总结中，格雷厄姆详细介绍了Aurora的创新速度如何在各个领域得到加速，包括性能、可扩展性、可管理性和对新工作负载的支持。毋庸置疑，根据客户反馈和实际应用案例，亚马逊云科技团队一直致力于快速增强Aurora的功能。与会者们无疑对Aurora的技术特点和路线图有了更加深入的理解。

下面是一些演讲现场的精彩瞬间：

领导者深入研究了Aurora，以帮助公众理解其在运行数据库和应用方面的优势。

极光共享存储架构可以轻松扩展读取副本，而无需创建全新的数据库实例。

在re:Invent期间，亚马逊云科技推出了一项新的全球集群切换指令，实现了无缝的灾难恢复测试。

当原始区域无法访问时，亚马逊云科技会自动失败并切换到新区域，从而防止数据丢失。

领导者宣布了一项令人兴奋的新数据库功能，名为无限数据库，有助于在不进行分片和复杂操作的情况下扩展数据库。

领导者解释了如何利用DynamoDB交易通过分配提交时间戳来维护一致性，以及读取最新的时间戳。

领导者强调，与其他数据库不同，即使在进行分片操作时，亚马逊极光也能提供强大的一致性。

总结

亚马逊云科技的资深首席工程师Graham McAllister在亚马逊云科技re:Invent上进行了一场深入的演讲，重点关注了Amazon Aurora的关键创新。

他首先阐述了Aurora独特的云原生架构，解释了其跨可用区分布式的存储系统如何实现高持久性和可用性。此外，Aurora的日志结构存储引擎还允许实现比传统数据库更快的崩溃恢复。

接下来，McAllister详细介绍了一些近期的增强功能，包括并行导出到S3、增强的MySQL binlog以及对PostgreSQL扩展（如pg_vector）的支持。他强调了Aurora致力于通过无服务器自动缩放、蓝色/绿色部署来实现无缝版本升级，以及到Redshift的零ETL复制等特性来提高可管理性。

深入探讨之后，他展示了两个主要的新功能。Aurora IO优化实例提供了更可预测的IO定价，并提高了高存储利用率的工作负载的性能。此外，分层缓存和优化的临时IO利用本地NVMe加速大内存操作。

最后，他介绍了Aurora无限数据库，该服务提供原生分片以轻松扩展吞吐量，同时保持分布式交易和一致性。通过分配全局时间戳，它可以协调跨分片的操作而无需典型的分片缺点。

总的来说，McAllister总结道，由于Aurora的架构使其能够快速交付解决客户在实际性能、可用性和操作简便性方面挑战的创新功能，因此它处于云数据库服务的最前沿。

演讲原文

https://blog.csdn.net/just2gooo/article/details/134809752

想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！

2023亚马逊云科技re:Invent全球大会 - 官方网站

点击此处，一键获取亚马逊云科技全球最新产品/服务资讯！

点击此处，一键获取亚马逊云科技中国区最新产品/服务资讯！

即刻注册亚马逊云科技账户，开启云端之旅！

【免费】亚马逊云科技“100 余种核心云服务产品免费试用”

【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”

亚马逊云科技是谁？

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者，自 2006 年以来一直以不断创新、技术领先、服务丰富、应用广泛而享誉业界。亚马逊云科技可以支持几乎云上任意工作负载。亚马逊云科技目前提供超过 200 项全功能的服务，涵盖计算、存储、网络、数据库、数据分析、机器人、机器学习与人工智能、物联网、移动、安全、混合云、虚拟现实与增强现实、媒体，以及应用开发、部署与管理等方面；基础设施遍及 31 个地理区域的 99 个可用区，并计划新建 4 个区域和 12 个可用区。全球数百万客户，从初创公司、中小企业，到大型企业和政府机构都信赖亚马逊云科技，通过亚马逊云科技的服务强化其基础设施，提高敏捷性，降低成本，加快创新，提升竞争力，实现业务成长和成功。