使用Amazon EBS为高强度工作负载最大化性能

使用Amazon EBS为高强度工作负载最大化性能

关键字: [Amazon Web Services re:Invent 2024, 亚马逊云科技, IO2 Block Express, High Intensity Workloads, Maximize Performance, Amazon Ebs, Low Latency, Mission-Critical Applications]

导读

Amazon EBS每天处理超过140万亿次I/O操作。性能很重要,但不仅仅是平均性能。稳定的超低延迟,最小化异常值或尾部延迟同样重要。io2 Block Express卷专为关键应用程序(如SAP HANA、Oracle、Microsoft SQL Server、MySQL等)设计,提供一致的亚毫秒级延迟和99.999%的持久性。了解性能特征如何优化计算利用率,从而提高成本效率并支持许多高要求用例的成功。探索对多重挂载NVMe预留、基于Amazon EC2 Nitro系统的实例以及Amazon RDS的支持如何推动新的创新和架构增强。

演讲精华

以下是小编为您整理的本次演讲的精华。

在引人入胜的亚马逊云科技 re:Invent 2024会议上,Coryl Devidlichev和Sunita Singh深入探讨了利用Amazon Elastic Block Store (EBS)最大化高强度工作负载的性能。他们富有洞见的演讲阐明了延迟的重要性,强调在真空或空气中,光在一微秒内可以传播300米或981英尺,而在光纤中则约为700英尺或230米,速度慢约30%。对这一物理基础的理解凸显了在高频交易等行业中最小化延迟的重要性,在这些行业中,公司投资数亿美元在证券交易所之间建立微波中继网络,以获得竞争优势。

Sunita全面概述了Amazon EBS,这是一种网络附加存储服务,以其在各种工作负载中的高持久性、可用性和性能而闻名。EBS包括卷、快照和数据服务,其中卷是本次会议的重点。EBS卷可以是基于SSD的,如gp3、io1和备受期待的io2 Block Express,也可以是基于HDD的,以满足不同的工作负载需求。gp3卷类型是亚马逊云科技最受欢迎的通用产品,提供3,000 IOPS的基线性能和125 MBps的吞吐量。

io2 Block Express卷类型成为了本次演讲的明星,专门为需要极高IOPS(每秒输入/输出操作数)的关键任务工作负载而设计。凭借265,000 IOPS、4,000 MBps的吞吐量和最高5个9的持久性评级,io2 Block Express确保应用程序的停机时间更短。此外,它提供持续的亚毫秒级延迟,是延迟敏感型工作负载的理想选择。与其前身io1相比,io2 Block Express提供100倍的持久性、最高4,000 MBps的吞吐量(而io1为1,000 MBps),并且在驱动大量IOPS时成本降低50%。

为了说明io2 Block Express在现实世界中的影响,Sunita和Coryl展示了来自各行业的令人信服的案例研究。第一个案例研究关注Epic,这是一个领先的电子健康记录系统。Epic的工作负载具有事务性质,需要高IOPS以确保无缝访问关键医疗记录。通过利用io2 Block Express,Epic实现了每卷256,000 IOPS的惊人性能,并通过卷条带化达到420,000 IOPS,每秒实现7,500万次事务。这一卓越性能超过了Epic的本地部署,佛罗里达州一家主要医疗保健提供商Baptist Memorial Healthcare在将五家不同医院的Epic系统整合并迁移到云端后,报告性能比本地实施提高了20%。

另一个行业用例是SAP HANA,这是一种内存数据库,在启动和重启操作期间需要高吞吐量来处理大块大小(256 KB)。日产欧洲公司的客户证词显示,在SAP HANA工作负载中使用io2 Block Express后,性能提高了63%。此外,他们在数据库恢复方面实现了一致的交付时间,并改善了大规模测试的弹性,展示了亚马逊云科技产品的多功能性和可扩展性。能够使用EBS快照进行一致的数据库恢复,以及根据需要扩大和缩小测试规模的弹性,是日产欧洲公司的关键收益。

Coryl深入探讨了利用io2 Block Express最大化性能的技术细节,介绍了卷条带化的概念。通过采用RAID 0或逻辑卷管理技术,客户可以组合多个卷以实现更高的IOPS和吞吐量。然而,Coryl警告了在条带化卷时,性能和有效持久性之间的权衡,强调根据特定工作负载需求平衡这些因素的重要性。例如,将两个io2 Block Express卷条带化仍然提供近5个9的有效持久性,但将25个gp3卷条带化以实现400,000 IOPS将显著降低有效持久性,需要一个可靠的备份和灾难恢复策略。

延迟成为讨论的一个关键因素,Coryl强调io2 Block Express如何持续提供亚毫秒级延迟,即使在99.9百分位数时也如此。这种持续的低延迟不仅确保了可预测的性能,而且还使客户能够将卷推至极限而不会影响应用程序的稳定性。Coryl举了一个例子,假设延迟为0.5毫秒,这大约相当于io2 Block Express每线程2,000 IOPS,而单位毫秒级延迟的gp3则可实现每线程1,000 IOPS。为最大化io2 Block Express的性能(每卷可支持256,000 IOPS),具有32个有效队列深度的多线程应用程序可能实现64,000 IOPS。

演讲还强调了另一个客户成功案例,来自领先的网络安全公司McAfee。在切换到io2 Block Express用于关键任务数据库后,McAfee报告性能提高30%,查询时间缩短20%,延迟降低81%,备份速度提高50%。这些显著的改进凸显了亚马逊云科技存储解决方案对关键任务工作负载的变革性影响,使组织能够实现前所未有的性能、可靠性和运营效率水平。

下面是一些演讲现场的精彩瞬间:

强调了低延迟对某些行业(如高频交易)的重要性,在这些行业中,公司大量投资于微波中继器和海底电缆等技术,以获得哪怕是微小的速度优势。

e9e5f1a16219f8ec2f4a851a1974898c.png

亚马逊云科技为每种卷类型提供了持久性统计数据,允许您通过将多个卷条带化来计算有效持久性,但在条带化gp3卷时要谨慎,因为它会增加影响整个环境的故障可能性。

008253cbf8cc2fdec75647eaea83f51d.png

日产汽车通过使用亚马逊云科技服务(如IO2 Block Express和EBS快照)将其SAP工作负载迁移到云端,实现了63%的性能改进和一致的数据库恢复时间。

e0b354d0e2af3ccca324cef35fde65bf.png

亚马逊云科技为EBS卷提供了I/O延迟直方图,允许客户验证一致的低延迟并识别性能异常值。

d580bc3ff73f385ad5ed59bbbf82cf18.png

亚马逊云科技推出了新的EBS卷性能指标,提供了限制、IOPS限制、吞吐量限制和队列长度的见解,帮助正确调整卷和实例大小,以实现最佳工作负载性能。

2fcf97e7fe879b14a6a75ba78400f6a0.png

演讲者总结了所讨论的关键用例,包括Epic的高IOPS、SAP HANA的高吞吐量和数据库用例,并邀请观众参加第二天的动手实践研讨会。

c9b03a6ca80bd9ac83bdff09bfa26c07.png

总结

在不断发展的云计算世界中,亚马逊 EBS(Elastic Block Store)代表了 亚马逊云科技 致力于提供高性能存储解决方案的决心。这篇文章深入探讨了 IO2 Block Express 这种先进的卷类型,旨在满足最苛刻的关键任务工作负载的需求。

Coryl Devidlichev 和 Sunita Singh 这两位专家揭示了 IO2 Block Express 的卓越能力,强调其无与伦比的性能、耐久性和持续的亚毫秒级延迟。通过真实案例研究,他们阐释了这种创新存储解决方案如何让行业巨头 Epic、SAP HANA 和 McAfee 实现了前所未有的效率和可靠性水平。

故事从领先的电子健康记录系统 Epic 开始,IO2 Block Express 为每个卷提供了高达 256,000 IOPS 的惊人性能,使 Epic 的客户能够整合多家医院的系统,并比内部部署实现了 20% 的性能提升。接下来,聚光灯转向支持关键企业的内存数据库 SAP HANA。在这里,IO2 Block Express 的高吞吐量能力使日产欧洲公司实现了 63% 的性能提升,顺利处理了其精简制造流程中的大规模数据处理需求。

Kiril Devidlichev 这位主要存储解决方案架构师深入探讨了 IO2 Block Express 无与伦比性能的技术细节,揭示了卷条带化技术和延迟优化策略等秘密,为最大限度发挥这种尖端存储解决方案的潜力提供了宝贵见解。

在结尾部分,演讲者强调了关键要点,突出了 IO2 Block Express 无与伦比的耐久性、持续的低延迟以及通过卷条带化实现更高 IOPS 和吞吐量的能力。他们邀请参加一个动手实践研讨会,让与会者有机会亲身体验 EBS 和 IO2 Block Express 的强大功能。

在当今数据成为现代企业生命线的世界中,亚马逊 EBS 的 IO2 Block Express 应运而生,成为一个游戏规则改变者,让组织能够充分发挥关键任务工作负载的潜力,开启性能和可靠性的新境界。

亚马逊云科技(Amazon Web Services)是全球云计算的开创者和引领者。提供200多类广泛而深入的云服务,服务全球245个国家和地区的数百万客户。做为全球生成式AI前行者,亚马逊云科技正在携手广泛的客户和合作伙伴,缔造可见的商业价值 – 汇集全球40余款大模型,亚马逊云科技为10万家全球企业提供AI及机器学习服务,守护3/4中国企业出海。

内容概要:《2024年中国城市低空经济发展指数报告》由36氪研究院发布,指出低空经济作为新质生产力的代表,已成为中国经济新的增长点。报告从发展环境、资金投入、创新能力、基础支撑和发展成效五个维度构建了综合指数评价体系,评估了全国重点城市的低空经济发展状况。北京和深圳在总指数中名列前茅,分别以91.26和84.53的得分领先,展现出强大的资金投入、创新能力和基础支撑。低空经济主要涉及无人机、eVTOL(电动垂直起降飞行器)和直升机等产品,广泛应用于农业、物流、交通、应急救援等领域。政策支持、市场需求和技术进步共同推动了低空经济的快速发展,预计到2026年市场规模将突破万亿元。 适用人群:对低空经济发展感兴趣的政策制定者、投资者、企业和研究人员。 使用场景及目标:①了解低空经济的定义、分类和发展驱动力;②掌握低空经济的主要应用场景和市场规模预测;③评估各城市在低空经济发展中的表现和潜力;④为政策制定、投资决策和企业发展提供参考依据。 其他说明:报告强调了政策监管、产业生态建设和区域融合错位的重要性,提出了加强法律法规建设、人才储备和基础设施建设等建议。低空经济正加速向网络化、智能化、规模化和集聚化方向发展,各地应找准自身比较优势,实现差异化发展。
数据集一个高质量的医学图像数据集,专门用于脑肿瘤的检测和分类研究以下是关于这个数据集的详细介绍:该数据集包含5249张脑部MRI图像,分为训练集和验证集。每张图像都标注了边界框(Bounding Boxes),并按照脑肿瘤的类型分为四个类别:胶质瘤(Glioma)、脑膜瘤(Meningioma)、无肿瘤(No Tumor)和垂体瘤(Pituitary)。这些图像涵盖了不同的MRI扫描角度,包括矢状面、轴面和冠状面,能够全面覆盖脑部解剖结构,为模型训练提供了丰富多样的数据基础。高质量标注:边界框是通过LabelImg工具手动标注的,标注过程严谨,确保了标注的准确性和可靠性。多角度覆盖:图像从不同的MRI扫描角度拍摄,包括矢状面、轴面和冠状面,能够全面覆盖脑部解剖结构。数据清洗与筛选:数据集在创建过程中经过了彻底的清洗,去除了噪声、错误标注和质量不佳的图像,保证了数据的高质量。该数据集非常适合用于训练和验证深度学习模型,以实现脑肿瘤的检测和分类。它为开发医学图像处理中的计算机视觉应用提供了坚实的基础,能够帮助研究人员和开发人员构建更准确、更可靠的脑肿瘤诊断系统。这个数据集为脑肿瘤检测和分类的研究提供了宝贵的资源,能够帮助研究人员开发出更准确、更高效的诊断工具,从而为脑肿瘤患者的早期诊断和治疗规划提供支持。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值