使用Amazon EBS为高强度工作负载最大化性能
关键字: [Amazon Web Services re:Invent 2024, 亚马逊云科技, IO2 Block Express, High Intensity Workloads, Maximize Performance, Amazon Ebs, Low Latency, Mission-Critical Applications]
导读
Amazon EBS每天处理超过140万亿次I/O操作。性能很重要,但不仅仅是平均性能。稳定的超低延迟,最小化异常值或尾部延迟同样重要。io2 Block Express卷专为关键应用程序(如SAP HANA、Oracle、Microsoft SQL Server、MySQL等)设计,提供一致的亚毫秒级延迟和99.999%的持久性。了解性能特征如何优化计算利用率,从而提高成本效率并支持许多高要求用例的成功。探索对多重挂载NVMe预留、基于Amazon EC2 Nitro系统的实例以及Amazon RDS的支持如何推动新的创新和架构增强。
演讲精华
以下是小编为您整理的本次演讲的精华。
在引人入胜的亚马逊云科技 re:Invent 2024会议上,Coryl Devidlichev和Sunita Singh深入探讨了利用Amazon Elastic Block Store (EBS)最大化高强度工作负载的性能。他们富有洞见的演讲阐明了延迟的重要性,强调在真空或空气中,光在一微秒内可以传播300米或981英尺,而在光纤中则约为700英尺或230米,速度慢约30%。对这一物理基础的理解凸显了在高频交易等行业中最小化延迟的重要性,在这些行业中,公司投资数亿美元在证券交易所之间建立微波中继网络,以获得竞争优势。
Sunita全面概述了Amazon EBS,这是一种网络附加存储服务,以其在各种工作负载中的高持久性、可用性和性能而闻名。EBS包括卷、快照和数据服务,其中卷是本次会议的重点。EBS卷可以是基于SSD的,如gp3、io1和备受期待的io2 Block Express,也可以是基于HDD的,以满足不同的工作负载需求。gp3卷类型是亚马逊云科技最受欢迎的通用产品,提供3,000 IOPS的基线性能和125 MBps的吞吐量。
io2 Block Express卷类型成为了本次演讲的明星,专门为需要极高IOPS(每秒输入/输出操作数)的关键任务工作负载而设计。凭借265,000 IOPS、4,000 MBps的吞吐量和最高5个9的持久性评级,io2 Block Express确保应用程序的停机时间更短。此外,它提供持续的亚毫秒级延迟,是延迟敏感型工作负载的理想选择。与其前身io1相比,io2 Block Express提供100倍的持久性、最高4,000 MBps的吞吐量(而io1为1,000 MBps),并且在驱动大量IOPS时成本降低50%。
为了说明io2 Block Express在现实世界中的影响,Sunita和Coryl展示了来自各行业的令人信服的案例研究。第一个案例研究关注Epic,这是一个领先的电子健康记录系统。Epic的工作负载具有事务性质,需要高IOPS以确保无缝访问关键医疗记录。通过利用io2 Block Express,Epic实现了每卷256,000 IOPS的惊人性能,并通过卷条带化达到420,000 IOPS,每秒实现7,500万次事务。这一卓越性能超过了Epic的本地部署,佛罗里达州一家主要医疗保健提供商Baptist Memorial Healthcare在将五家不同医院的Epic系统整合并迁移到云端后,报告性能比本地实施提高了20%。
另一个行业用例是SAP HANA,这是一种内存数据库,在启动和重启操作期间需要高吞吐量来处理大块大小(256 KB)。日产欧洲公司的客户证词显示,在SAP HANA工作负载中使用io2 Block Express后,性能提高了63%。此外,他们在数据库恢复方面实现了一致的交付时间,并改善了大规模测试的弹性,展示了亚马逊云科技产品的多功能性和可扩展性。能够使用EBS快照进行一致的数据库恢复,以及根据需要扩大和缩小测试规模的弹性,是日产欧洲公司的关键收益。
Coryl深入探讨了利用io2 Block Express最大化性能的技术细节,介绍了卷条带化的概念。通过采用RAID 0或逻辑卷管理技术,客户可以组合多个卷以实现更高的IOPS和吞吐量。然而,Coryl警告了在条带化卷时,性能和有效持久性之间的权衡,强调根据特定工作负载需求平衡这些因素的重要性。例如,将两个io2 Block Express卷条带化仍然提供近5个9的有效持久性,但将25个gp3卷条带化以实现400,000 IOPS将显著降低有效持久性,需要一个可靠的备份和灾难恢复策略。
延迟成为讨论的一个关键因素,Coryl强调io2 Block Express如何持续提供亚毫秒级延迟,即使在99.9百分位数时也如此。这种持续的低延迟不仅确保了可预测的性能,而且还使客户能够将卷推至极限而不会影响应用程序的稳定性。Coryl举了一个例子,假设延迟为0.5毫秒,这大约相当于io2 Block Express每线程2,000 IOPS,而单位毫秒级延迟的gp3则可实现每线程1,000 IOPS。为最大化io2 Block Express的性能(每卷可支持256,000 IOPS),具有32个有效队列深度的多线程应用程序可能实现64,000 IOPS。
演讲还强调了另一个客户成功案例,来自领先的网络安全公司McAfee。在切换到io2 Block Express用于关键任务数据库后,McAfee报告性能提高30%,查询时间缩短20%,延迟降低81%,备份速度提高50%。这些显著的改进凸显了亚马逊云科技存储解决方案对关键任务工作负载的变革性影响,使组织能够实现前所未有的性能、可靠性和运营效率水平。
下面是一些演讲现场的精彩瞬间:
强调了低延迟对某些行业(如高频交易)的重要性,在这些行业中,公司大量投资于微波中继器和海底电缆等技术,以获得哪怕是微小的速度优势。
亚马逊云科技为每种卷类型提供了持久性统计数据,允许您通过将多个卷条带化来计算有效持久性,但在条带化gp3卷时要谨慎,因为它会增加影响整个环境的故障可能性。
日产汽车通过使用亚马逊云科技服务(如IO2 Block Express和EBS快照)将其SAP工作负载迁移到云端,实现了63%的性能改进和一致的数据库恢复时间。
亚马逊云科技为EBS卷提供了I/O延迟直方图,允许客户验证一致的低延迟并识别性能异常值。
亚马逊云科技推出了新的EBS卷性能指标,提供了限制、IOPS限制、吞吐量限制和队列长度的见解,帮助正确调整卷和实例大小,以实现最佳工作负载性能。
演讲者总结了所讨论的关键用例,包括Epic的高IOPS、SAP HANA的高吞吐量和数据库用例,并邀请观众参加第二天的动手实践研讨会。
总结
在不断发展的云计算世界中,亚马逊 EBS(Elastic Block Store)代表了 亚马逊云科技 致力于提供高性能存储解决方案的决心。这篇文章深入探讨了 IO2 Block Express 这种先进的卷类型,旨在满足最苛刻的关键任务工作负载的需求。
Coryl Devidlichev 和 Sunita Singh 这两位专家揭示了 IO2 Block Express 的卓越能力,强调其无与伦比的性能、耐久性和持续的亚毫秒级延迟。通过真实案例研究,他们阐释了这种创新存储解决方案如何让行业巨头 Epic、SAP HANA 和 McAfee 实现了前所未有的效率和可靠性水平。
故事从领先的电子健康记录系统 Epic 开始,IO2 Block Express 为每个卷提供了高达 256,000 IOPS 的惊人性能,使 Epic 的客户能够整合多家医院的系统,并比内部部署实现了 20% 的性能提升。接下来,聚光灯转向支持关键企业的内存数据库 SAP HANA。在这里,IO2 Block Express 的高吞吐量能力使日产欧洲公司实现了 63% 的性能提升,顺利处理了其精简制造流程中的大规模数据处理需求。
Kiril Devidlichev 这位主要存储解决方案架构师深入探讨了 IO2 Block Express 无与伦比性能的技术细节,揭示了卷条带化技术和延迟优化策略等秘密,为最大限度发挥这种尖端存储解决方案的潜力提供了宝贵见解。
在结尾部分,演讲者强调了关键要点,突出了 IO2 Block Express 无与伦比的耐久性、持续的低延迟以及通过卷条带化实现更高 IOPS 和吞吐量的能力。他们邀请参加一个动手实践研讨会,让与会者有机会亲身体验 EBS 和 IO2 Block Express 的强大功能。
在当今数据成为现代企业生命线的世界中,亚马逊 EBS 的 IO2 Block Express 应运而生,成为一个游戏规则改变者,让组织能够充分发挥关键任务工作负载的潜力,开启性能和可靠性的新境界。
亚马逊云科技(Amazon Web Services)是全球云计算的开创者和引领者。提供200多类广泛而深入的云服务,服务全球245个国家和地区的数百万客户。做为全球生成式AI前行者,亚马逊云科技正在携手广泛的客户和合作伙伴,缔造可见的商业价值 – 汇集全球40余款大模型,亚马逊云科技为10万家全球企业提供AI及机器学习服务,守护3/4中国企业出海。