亚马逊云科技重塑数据库缓存无服务器未来

亚马逊云科技重塑数据库缓存无服务器未来

关键字: [e2e, Aurora Limitless Database, Aurora Serverless Database, Caspian Hypervisor Architecture, Time Synchronization Network, Elasticache Serverless Cache, Redshift Serverless Optimization]

本文字数: 1600, 阅读完需: 8 分钟

导读

在亚马逊云科技亚马逊会议2022上,亚马逊云科技Utility Computing副总裁Peter DeSantis发表了题为”重塑数据库和缓存的无服务器未来”的演讲。他阐释了亚马逊云科技如何重新构想真正无服务器的数据库和缓存;具体解释了Aurora Limitless Database能够让客户通过自动跨分片分布数据和事务一致性,扩展超出单个服务器的写吞吐量,而ElastiCache Serverless则提供了一种完全托管、可扩展的缓存服务,无需容量规划。该演讲着重介绍了亚马逊云科技的创新,如Caspian(一种用于就地调整数据库和缓存大小的新型虚拟机监控程序)和一个定制的时间同步网络(用于分布式事务排序),如何实现无服务器数据库和缓存,使其能够无缝扩展、提供高性能,并优化成本和资源利用率。

演讲精华

以下是小编为您整理的本次演讲的精华，共1300字，阅读时间大约是6分钟。

在不断发展的云计算领域中,Amazon Web Services(亚马逊云科技)一直走在前沿,通过其革命性的无服务器产品重塑了数据库和缓存的未来。亚马逊云科技公用计算服务副总裁Peter DeSantis登台,揭开了公司最新创新成果的面纱,这些创新将彻底改变我们对数据管理和处理的思维方式。

DeSantis首先强调了云计算服务的六个最关键属性:弹性、经济高效、高效、可持续性、安全性和可用性。他强调无服务器服务不仅体现了这些属性,而且更进一步,承诺免去管理服务器的负担,消除了软件升级、操作系统补丁和主机管理的需求。

DeSantis承认,在拥抱无服务器计算时面临的一个主要挑战是开发人员对遗留代码的熟悉程度。开发人员往往难以从已建立的系统和方法中转型,因为短期内的变革可能是艰难的。他将其与大型机进行了类比,开发人员并非真正着迷于该技术本身,而是迁移离开这些系统的困难和昂贵成本。

尽管存在这些挑战,亚马逊云科技仍在不懈地努力提升无服务器能力。自2006年推出Simple Storage Service(S3)和Simple Queue Service开始,亚马逊云科技加快了创新步伐,推出了诸如Lambda无服务器计算、Elastic File System(EFS)和Fargate无服务器容器等颠覆性服务。

DeSantis强调,亚马逊云科技致力于支持各种软件堆栈,而不仅仅是无服务器产品。这一承诺促成了托管数据库、文件系统、操作系统和开源软件的发展,确保亚马逊云科技仍然是运行客户所需任何软件的最佳选择。

亚马逊云科技无服务器之旅的一个重大里程碑是2009年推出的Amazon Relational Database Service(RDS)。RDS旨在简化关系数据库的设置、操作和扩展,消除了手动管理这些系统的复杂性。

真正的游戏规则改变者是Aurora的引入,这是一种基于名为Grover的分布式存储系统构建的云原生关系数据库。Grover创新的架构允许将数据库与其存储分离,通过将I/O从数据库卸载到跨多个可用区复制的日志结构化存储系统,从而实现高性能。透露称,Grover可以将Aurora数据库的存储系统的I/O需求惊人地降低80%,从而比等效的开源托管数据库提高三到五倍的性价比。

在Aurora取得成功的基础上,亚马逊云科技推出了Aurora Serverless,这是一项创新产品,可以自动扩展和缩减,无需调整数据库大小或故障转移。这一壮举是通过开发一种名为Caspian的新型虚拟机实现的,它允许多个数据库通过合作过度订阅和热管理规划安全地共享物理资源。

为了解决单服务器数据库的可扩展性限制,推出了Aurora Limitless Database,这是一种分片数据库,可以自动将数据分布在多个分片上,同时提供事务一致性。这种创新解决方案利用了轻量级路由层,并利用Caspian的单个分片扩展能力。

支撑Aurora Limitless Database的一个关键创新是利用定制的Nitro芯片和专用时间分布网络构建的高度精确的分布式时钟同步系统。这项突破性技术能够有效地对跨分片的分布式事务进行排序,每秒支持数十万个事件顺序,这是高性能数据库操作的关键要求。

接下来介绍了Amazon ElastiCache Serverless,这是一种无服务器缓存服务,利用Caspian的扩展能力来调整缓存大小,无需进行容量规划或基础设施管理。透露称,ElastiCache Serverless查找的中位延迟约为半毫秒,具有出色的异常值延迟,并且可以远远超过任何单个服务器的可能规模,最高可达5TB内存。

为了展现亚马逊云科技创新对现实世界的影响,DeSantis欢迎了Riot Games全球基础设施与运营主管Brent Rich,分享他们在亚马逊云科技的旅程。作为知名游戏公司,Riot Games利用了各种亚马逊云科技服务,为全球玩家提供新体验,展示了亚马逊云科技产品的多功能性与可扩展性。Rich强调,通过迁移至亚马逊云科技,Riot Games能够加速实现为玩家提供更佳体验的目标,使其能够推出新游戏,如战术射击游戏Valorant,该游戏有特定设计目标,需要亚马逊云科技的全球云基础设施。

随后,DeSantis公布了亚马逊云科技无服务器数据仓库服务Amazon Redshift Serverless的重大改进。利用AI驱动的扩展与优化技术,这些改进承诺将提供高性能的价格/性能比。关键创新包括主动容量预测、实时查询复杂度分析和成本/性能优化控制,确保高效经济的数据仓库运营。

DeSantis透露,Redshift Serverless使用反应式扩展,当并发查询数量超过某个阈值时,会配置额外容量。然而,这个过程需要时间,可能会严重影响短期运行的查询,如仪表板。为解决这个问题,亚马逊云科技引入了详细模型,预测数据仓库的预期负载,从而根据预期查询负载进行主动容量调整。

此外,DeSantis解释说,在数据仓库上运行的大部分查询以前都见过。对于这些查询,Redshift Serverless可以快速查找有关查询的信息,并高度确信地了解其性能。对于新查询,一个小模型会生成关于查询执行速度的合理预测,而对于复杂查询,会使用更大模型了解它们可能的性能,以及它们如何响应不同的集群资源级别。

在这次演讲中,DeSantis阐述了亚马逊云科技在量子计算领域的研究努力。他介绍了由亚马逊云科技量子计算中心开发的定制量子芯片原型,该原型展示了更高效的量子纠错技术。克服量子纠错的挑战是构建可靠量子计算机的关键步骤,这种量子计算机能够解决化学、密码学和过程优化等领域的复杂问题。

DeSantis深入探讨了当前量子计算的状态,揭示了目前每1,000次量子操作中大约会出现一次错误的错误率。然而,他强调量子算法需要数十亿次无错操作,这凸显了需要弥合的巨大差距。

为了应对这一挑战,DeSantis揭示了亚马逊云科技的量子纠错方法,即将一组物理量子比特编码为一个逻辑量子比特。在当前0.1%的错误率下,每个逻辑量子比特需要数千个物理量子比特。但是,DeSantis演示了,如果物理量子比特的错误率进一步提高100倍,在未来10到15年内,纠错开销可以显著降低,所需的量子比特数量将降至更易于管理的水平。

DeSantis还强调了亚马逊云科技在开发更高效量子纠错技术方面的努力,展示了一种定制量子芯片原型,该原型将比特反转和相位反转分离。这种方法通过被动纠错实现了100倍的比特反转错误抑制,使亚马逊云科技能够专注于相位反转的主动纠错,理论上比标准方法提高了6倍的量子纠错效率。

贯穿整个演讲,DeSantis强调了亚马逊云科技坚定不移的创新决心,不断推进云计算的边界。无论是量子计算、定制硬件、重塑数据库还是开发新的虚拟机监控程序,亚马逊云科技都矢志不渝地致力于赋能客户为最终用户构建更好的体验。

下面是一些演讲现场的精彩瞬间：

亚马逊 ElastiCache 是一种托管缓存服务,旨在极大减轻管理流行缓存应用程序(如 Redis 或 Memcached)的工作负担,但它并非真正的无服务器架构。

总结

在这场引人入胜的演讲中,亚马逊云科技公用计算服务副总裁Peter DeSantis带领观众探索了亚马逊云科技在无服务器计算创新方面的不懈追求。他揭示了一些突破性的进展,重新定义了数据库、缓存和量子计算的边界。

首先,他介绍了AURORA LIMITLESS DATABASE,这是一种革命性的产品,可以无缝地扩展超出单个服务器的限制,同时自动在分片之间分布数据,并保持事务一致性。这种无服务器解决方案消除了传统分片方法的操作复杂性。

接下来,DeSantis推出了AMAZON ELASTICACHE SERVERLESS,这是一种无服务器缓存服务,可以动态扩展以满足需求,从而消除了容量规划和基础设施管理的需求。凭借亚毫秒级的延迟和可扩展至5TB内存的能力,ELASTICACHE SERVERLESS承诺提供卓越的性能和敏捷性。

然后,DeSantis深入探讨了量子计算领域,展示了亚马逊云科技在量子计算中心所做的开创性工作。他揭示了一种定制设计的量子芯片,可以将比特反转与相位反转分离,从而实现更高效的量子纠错——这是实现量子计算潜力的关键一步。

贯穿整个演讲,DeSantis强调了亚马逊云科技对创新的坚定承诺,不断推进云计算的可能性边界。他强调消除非差异化的繁重工作的重要性,使客户能够专注于为用户构建更好的体验。

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者。提供200多类广泛而深入的云服务，服务全球245个国家和地区的数百万客户。亚马逊云科技致力于成为企业构建和应用生成式AI的首选，通过生成式AI技术栈，提供用于模型训练和推理的基础设施服务、构建生成式AI应用的大模型等工具、以及开箱即用的生成式AI应用。深耕本地、链接全球 – 在中国，亚马逊云科技通过安全、稳定、可信赖的云服务，助力中国企业加速数字化转型和创新，并深度参与全球化市场。