re:Invent 2023 | 在亚马逊云科技上自信地运行生产 HPC 工作负载

关键字: [Amazon Web Services re:Invent 2023, 亚马逊云科技, Hpc Workloads On 亚马逊云科技, Hpc Flexibility On 亚马逊云科技, Hpc Performance On 亚马逊云科技, Hpc Plus Ai On 亚马逊云科技, Real World Hpc Applications On 亚马逊云科技]

本文字数: 1000, 阅读完需: 5 分钟

视频

如视频不能正常播放，请前往bilibili观看本视频。>> https://www.bilibili.com/video/BV1VH4y1y7vz

导读

在本论坛中，获得您所需的信息，以便在亚马逊云科技云端以敏捷性和最佳性价比自信地运行生产 HPC 工作负载。此外，了解亚马逊云科技上的 HPC 可以轻松地以比本地计算更少的开销弹性扩展。本论坛探索亚马逊云科技云端中可用的 HPC 服务和产品组合，这些服务和产品可以执行和扩展以运行模拟和建模以及其他内存和数据密集型技术工作负载。了解如何使用您已经知道的 HPC 工具集，以及如何避免宝贵的科学家和工程师排队等待运行 HPC 作业。

演讲精华

以下是小编为您整理的本次演讲的精华，共700字，阅读时间大约是4分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。

亚马逊云科技的高级计算和模拟部门经理Ian Coley在演讲开始时回顾了过去20年里高性能计算（HPC）资源的获取方式是如何发生重大变化的。他引用了科幻作家威廉·吉布森的一句话：“未来已经到来，只是分布不均”，并指出这句话同样适用于超级计算能力。在过去，强大HPC系统的访问仅限于国家实验室和大公司等少数精英组织。但随着云计算的发展，任何人只要连接到互联网就可以按需使用HPC功能。亚马逊云科技致力于进一步普及这些宝贵资源的访问，让用户以前所未有的方式创新。

Ian以一些今天普遍使用HPC工作负载的突出使用案例和行业为例，概述了HPC的现状。例如，航空航天、汽车、能源等行业都在寻求优化气流和湍流模式，因此计算流体动力学模拟至关重要。石油和天然气公司依赖地震分析和储层模拟来高效地发现和开采自然资源。制药研究人员利用HPC进行基因测序，筛选数十亿个分子组合以加速药物发现。金融服务公司使用蒙特卡罗模拟计算投资组合的风险。这些例子强调了HPC的普及程度。

然而，Ian强调亚马逊云科技对待HPC工作负载的方式与传统数据中心部署不同。亚马逊云科技更注重客户需求，提供灵活的解决方案，以满足可扩展性、弹性和成本效益的要求。亚马逊云科技方法的关键方面包括：

计算：亚马逊云科技提供专为HPC设计的实例系列，包括基于Graviton的HPC7g、基于AMD EPYC的HPC7a和基于Intel Xeon的HPC6i，以满足各种需求。创新的Nitro系统可以卸载虚拟化组件以提高安全性和性能。

网络：弹性织物适配器（EFA）使用亚马逊云科技定制的可扩展可靠数据包（SRD）协议提供高吞吐量（3.2 Tbps）和低延迟（单位数微秒），使网络性能接近线性扩展，最高可达数百个节点。

存储方面，Amazon FSx for Lustre提供了高性能的共享文件存储，而Amazon File Cache则高效地访问内部数据。编排方面，亚马逊云科技Batch动态地为作业调度分配资源，而ParallelCluster则是开源的集群管理器。在可视化方面，亚马逊云科技的研究工程工作室（Research Engineering Studio）通过共享虚拟桌面门户提供协作访问资源。为了展示这些功能在实际中的应用，Ian邀请了一位来自法拉利的同事分享了他们如何利用亚马逊云科技的HPC进行生产车辆的设计和发展。据Stefano Maltomini介绍，尽管他们在意大利马拉内罗的内部HPC数据中心已经达到了容量限制，但云计算提供了不受设施限制的可用资源。亚马逊云科技使他们能够应对临时工作负载高峰，不断采用最新技术如GPU计算，并通过灵活的实验进行创新。Marco Gaudino随后展示了基准测试结果，比较了内部和云性能。在核心数量相同的测试中，通过调整网络堆栈，亚马逊云科技提供了大约20%更高的吞吐量。将预处理和后处理迁移到更接近云环境的地方进一步改善了周转时间。通过利用云的可扩展性，将核心数量翻倍可以使完成速度比内部系统快60%。Marco总结了法拉利下一步的计划，包括提升用户体验，优化成本以及扩大HPC云的使用。最后，Ian强调了结合HPC和机器学习技术的综合演示。使用生成性AI（尤其是Stable Diffusion），他们创建了2D概念车辆渲染图并将其转换为3D点云。然后使用计算流体动力学模拟对这些合成设计进行评估，使用亚马逊云科技的Batch进行调度以评估空气阻力。这个管道展示了云HPC的灵活性如何促进对新兴工作负载（如AI）的探索。

伊恩在总结时表示，他自豪地分享了最近亚马逊云科技荣获最佳高性能计算（HPC）云平台奖项的消息，其中包括一个针对癌症研究项目的编辑选择奖。达纳-法伯癌症研究所已经利用亚马逊云科技建立了一个分子数据库，能够按数量级加速药物发现过程。伊恩强调，让超级计算更加普及将对各个行业和领域产生深刻的全球影响。通过不断改进灵活性、敏捷性和易用性，亚马逊云科技致力于实现这一使命并引领高性能计算创新的未来。

下面是一些演讲现场的精彩瞬间：

领导者们讨论了在亚马逊云科技上运行的高性能计算（HPC）工作负载，以及法拉利公司如何通过迁移工作负载到亚马逊云科技而受益。

亚马逊云科技推出了全新的HPC实例系列，为用户在云上运行高性能计算任务提供了定制化的选项。

亚马逊云科技致力于通过提升用户体验、优化成本效率以及运用诸如EC2 GPU实例等技术来提升性能。

借助云计算，用户可以轻松地根据需求调整资源，从而实现成本和性能的优化，使得实验性的效果得以实现。

人工智能（AI）模型能够激发创造力，通过提供新颖的想法来加速工作进程，而不会影响到就业机会。

亚马逊云科技荣获了一项奖项，该奖项表彰了其帮助一家癌症研究所在几天而非几个月内识别出药物候选物，从而加速了对救命治疗方法的寻求。

演讲者在演讲结束后邀请听众向其提问，以便解答关于使用弹性织物适配器的所有疑问。

总结

亚马逊云科技的高级计算与模拟部门总经理Ian Coley发表了一篇关于如何在亚马逊云科技上运行生产高性能计算(HPC)工作负载的演讲。他强调了亚马逊云科技如何将超级计算资源的获取民主化，让任何人都能借助互联网连接利用前所未有的计算能力进行创新。亚马逊云科技采用灵活且以客户为中心的方法来处理HPC问题，为客户提供定制的计算、存储、网络和编排服务，以满足他们的特定需求。

Coley接着详细介绍了亚马逊云科技的HPC产品，包括专为HPC工作负载优化的HPC计算实例系列（HPC7g、HPC7a、HPC6i）、用于低延迟网络的弹性纤维适配器、FSx for Lustre高性能文件系统以及Batch和ParallelCluster编排工具。

随后，Ferrari的Stefano Malto和Marco Gaudino分享了他们将HPC工作负载迁移到亚马逊云科技的经验。他们强调，亚马逊云科技的优势包括按需分配的容量、临时计算峰值以及轻松访问最新技术如GPU。在基准测试中，云计算性能与内部部署相当，甚至在使用更多云核心时性能提高了60%。法拉利公司计划在未来扩大对云计算HPC的使用。

最后，Coley通过一个例子展示了将机器学习和HPC相结合的能力，即使用生成性AI创建汽车设计，然后通过HPC模拟评估其空气动力学性能。这展示了云计算在快速迭代方面的强大力量。

总的来说，亚马逊云科技致力于提供最灵活且高性能的HPC云计算平台，以实现计算的民主化和加速各行业的创新。

演讲原文

https://blog.csdn.net/just2gooo/article/details/134812724

想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！

2023亚马逊云科技re:Invent全球大会 - 官方网站

点击此处，一键获取亚马逊云科技全球最新产品/服务资讯！

点击此处，一键获取亚马逊云科技中国区最新产品/服务资讯！

即刻注册亚马逊云科技账户，开启云端之旅！

【免费】亚马逊云科技“100 余种核心云服务产品免费试用”

【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”

亚马逊云科技是谁？

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者，自 2006 年以来一直以不断创新、技术领先、服务丰富、应用广泛而享誉业界。亚马逊云科技可以支持几乎云上任意工作负载。亚马逊云科技目前提供超过 200 项全功能的服务，涵盖计算、存储、网络、数据库、数据分析、机器人、机器学习与人工智能、物联网、移动、安全、混合云、虚拟现实与增强现实、媒体，以及应用开发、部署与管理等方面；基础设施遍及 31 个地理区域的 99 个可用区，并计划新建 4 个区域和 12 个可用区。全球数百万客户，从初创公司、中小企业，到大型企业和政府机构都信赖亚马逊云科技，通过亚马逊云科技的服务强化其基础设施，提高敏捷性，降低成本，加快创新，提升竞争力，实现业务成长和成功。