CMP220 | 亚马逊云科技、航空航天和地理空间公司如何重新思考高性能计算

CMP220 | 亚马逊云科技、航空航天和地理空间公司如何重新思考高性能计算

关键字: [Amazon Web Services re:Invent 2023, 亚马逊云科技, Machine Learning And Hpc Convergence, Physics Informed Neural Nets For Cfd Acceleration, Amazon Web Services Hpc Technologies And Instances, Whisk Aero Hpc Case Study, Partners Enabling Hpc On 亚马逊云科技]

本文字数: 2300, 阅读完需: 12 分钟

视频

导读

在本次分享中，学习基于模型的设计和它所驱动的高性能计算。您将会听取亚马逊云科技客户的意见，因为他们正在亚马逊云科技上重新思考和改造他们的高性能计算工作负载，他们重点关注的是创新、敏捷性以及深度学习与高性能计算结合的使用。此外，亚马逊云计算专家提出了融合基于模型的设计、机器学习、数据分析和高性能计算的新方法，并将其应用于航空航天和工程中。

演讲精华

以下是小编为您整理的本次演讲的精华，共2000字，阅读时间大约是10分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。

高性能计算（HPC）已在我们日常生活的许多方面发挥了重要作用，影响了我们使用的各种产品和服务。正如亚马逊云科技全球HPC负责人Barry Bolding所说，从设计我们的咖啡机到不可或缺的智能手机，乃至我们用来规划一天的天气预报，无不依赖于HPC的关键作用。甚至在规划一天时，我们参考的天气预报也得益于HPC驱动的建模和模拟。亚马逊云科技对HPC有着全面而深入的理解，涵盖了许多行业和不同的工作负载。

过去，HPC工作负载通常被划分为紧耦合或松耦合两类。紧耦合工作负载，如计算流体动力学或天气预报，需要在具有低延迟互连的计算实例之间分布大型模拟。而松耦合工作负载，如财务风险模拟，则允许在高吞吐批量处理中独立模拟。

然而，在过去的几年里，机器学习已经成为HPC架构的第三个关键因素。越来越多的客户希望了解如何将机器学习整合到HPC工作流程中，以便更快地解决问题。这种机器学习和模拟的融合正在推动汽车、航天和医药等领域的创新。

这种融合有多种表现形式。首先，机器学习算法可以预处理数据并预先验证模拟，从而减少搜索空间。例如，在将最有前途的方案提交给基于传统的HPC模拟之前，一家制药公司可以使用机器学习来筛选数十亿的分子候选者。

其次，用于训练和推理的机器学习技术，如GPU，可以加速基础基础设施。通过使用云上的最新硬件，组织可以避免锁定到固定的内部架构。

最后，机器学习建立在HPC现有的并行处理基础上。采用机器学习最佳实践就像在今天引入MPI等并行编程模型一样具有革命性。

由于这些经过机器学习的工作流程不依赖于特定行业，因此最佳实践和学习经验可以在各个部门之间迅速传播。例如，自主驾驶汽车模拟的先驱性工作现在已经应用于药物发现的工作负载。

在各个行业，包括汽车、航天和制药领域，高性能计算（HPC）与机器学习的结合正在加速创新进程。在Commonwealth Fusion公司，亚马逊云科技为其提供了HPC资源，支持核聚变研究中的粒子传输模拟。同时，航空航天公司也在利用亚马逊云科技进行计算流体动力学（CFD）仿真，以便建立超音速飞行中的湍流空气流的模型。在与领先的药物发现团队合作的过程中，亚马逊云科技在COVID疫苗开发中发挥了重要作用。

一个正逐渐接受机器学习增强的领域是计算流体动力学（CFD）。传统上，诸如优化飞机机翼轮廓之类的任务所需的CFD模拟需要提交作业并等待数天甚至数周才能得到结果。这一漫长过程严重限制了设计迭代的速度。近年来兴起的一种新兴技术——物理信息驱动的机器学习，有望将模拟时间缩短至几分钟。

通过在准确的CFD模拟数据上训练神经网络，可以实现现有设计的内插。然而，扩展到新的设计仍然具有挑战性。物理信息驱动的机器学习通过将已知的物理方程纳入用于训练的损失函数来解决这个问题。这样可以让模型学会传统模拟器的基本运动方程。经过训练的神经网络随后可以比基于软件的CFD更快地预测设计变化的影响。

工程师们利用这些快速的推断来评估数千种变化方案，以找到最有前景的设计。然后，这些候选方案将通过传统的CFD进行最终验证。尽管物理信息驱动的机器学习仍处于早期阶段，但在工程领域正迅速获得动力。一些复杂的多物理问题，如塑料成型，仍然难以建模。但这项技术有巨大的潜力来加速未来的高性能计算工作流程。

为了展示亚马逊云科技在高性能计算工作负载方面的实力，巴里邀请了来自航空航天初创公司Whisk的科林·哈尔布分享他们的经验。Whisk正在开发自动驾驶空中出租车服务，最近展示了他们第六代车辆设计。在设计过程中至关重要的计算流体动力学模拟方面，Whisk最初依赖一个老旧的100节点内部集群。然而，由于扩展限制和支持资源的不足，他们开始寻求云计算选项。

亚马逊云科技（Amazon Web Services）的GovCloud满足了Whisk公司的所有需求，包括对其航天软件的法规合规性的要求。通过利用高性能计算（HPC）实例和FSx for Lustre存储，亚马逊云科技为Whisk的计算流体动力学（CFD）应用提供了所需的低延迟和高吞吐量。在针对AMD最新的EPYC处理器进行重新编译后，运行时间性能提高了30%。更重要的是，与他们的内部集群相比，亚马逊云科技的灵活扩展性将任务周转时间减少了50%。

除了原始性能外，与亚马逊云科技和集成商Converge的合作还提供了关键的支持能力。Whisk可以依赖Converge的专业技能来管理环境，而无需自己维护自定义脚本。与经常出现问题的老化内部硬件相比，亚马逊云科技虚拟故障为零。

CFD的成功使用为Whisk公司打开了扩大其云计算足迹的大门。接下来是用于飞行自主权模拟的机器学习工作负载。Whisk公司还在探索亚马逊云科技在存储、业务应用和开发环境方面的应用。通过消除资源限制和操作负担，云成为了一个必不可少的平台，使Whisk公司能够专注于其核心任务。

巴里简要介绍了亚马逊云科技的最新HPC产品公告。新的实例系列如HPC7G和HPC6i针对特定的HPC应用优化了计算能力。EFA Gen 2升级了高速MPI工作负载的网络。FSx for Lustle提升了存储，而FSx File Cache简化了从内部NAS到云的突发流量。亚马逊云科技Batch on Kubernetes引入了一种新的HPC工作负载调度方法。

合作伙伴在亚马逊云科技HPC中发挥着关键作用。与独立软件开发商（ISV）的关系简化了像Ansys这样的应用的采购和部署。与Lawrence Livermore国家实验室等研究机构的合作产生了专为亚马逊云科技定制的优化库。系统集成商提供了成功地将HPC迁移到云端所需的专业知识。

总的来说，亚马逊云科技致力于提供全面且不断发展的高性能计算（HPC）解决方案，结合了规模、支持和简化的访问方式。机器学习正在彻底改变HPC在各个垂直市场中的应用，创新迅速在不同行业间传播。例如，像Whisk Aero这样的客户已经展示了HPC在云端具有革命性的商业影响。亚马逊云科技正提供推动下一代高性能计算所需的性能、灵活性和生态系统。

下面是一些演讲现场的精彩瞬间：

威斯克航空公司的IT部门负责人在会议上分享了他们公司如何运用亚马逊云科技来推进航空航天领域的解决方案。

例如，松散耦合方法可应用于金融风险管理，通过数千次模拟计算投资组合风险。

得益于亚马逊云科技提供的全面技术和服务，客户可以轻松应对高性能计算和高强度机器学习工作负载。

领导者们描述了如何通过机器学习快速迭代数千种设计变体，从而优化诸如空气动力学和燃料效率等目标。

然而，早期尝试使用机器学习进行塑料注塑模拟的案例并未取得理想效果，原因在于需要更多关于耦合热和流体流动问题损失函数的相关研究。

此外，领导者们还探讨了将系统和数据迁移到云端的方法，以便实现更灵活的访问和分析。

亚马逊云科技正努力破除障碍并简化解决方案，以助力客户解决复杂的大型仿真问题。

总结

巴里·博丁（Barry Bolding）是亚马逊云科技的全球高性能计算部门负责人，他在一篇关于亚马逊云科技与航空航天公司如何重新审视高性能计算的见解深刻的演讲中发表了观点。他首先阐述了高性能计算如何影响我们生活的各个方面，从咖啡机到智能手机。传统上，高性能计算工作负载通常被归类为紧密或松散耦合。然而，如今，随着机器学习的加入，高性能计算正在加速许多行业的工作流程，例如航空航天、能源和医疗保健等领域。

巴里详细描述了如何通过算法、技术和并行性来提高高性能计算的效率。他还提供了一些实例，如自动驾驶汽车、药物发现和人群模拟等。亚马逊云科技提供了相应的服务，包括计算、网络、存储和编排等。巴里强调了在亚马逊云科技环境中建立高性能计算工作负载的信任和动力。

随后，航天初创公司Whisk Aero的IT负责人科林·哈尔布（Colin Halb）分享了他们如何使用亚马逊云科技的高性能计算进行计算流体动力学（CFD）研究的过程。他们从旧的内部集群转向使用Parallel Cluster、FSx for Lustre以及亚马逊云科技GovCloud中的HPC计算节点。这一转变提高了可扩展性、运行时间、可支持性和成本效益。此外，Whisk计划利用亚马逊云科技进行自主仿真、机器学习、业务系统和合作伙伴访问等方面的应用。

最后，巴里强调了亚马逊云科技合作伙伴在建立解决高性能计算问题的信心方面的重要性。他还提到了通过市场和战略联盟简化高性能计算软件访问的新途径。总之，这次演讲传达了亚马逊云科技如何通过将高性能计算与机器学习相结合，为像Whisk Aero这样的航空航天公司创造创新解决方案，从而重塑高性能计算的概念。

演讲原文

想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！

2023亚马逊云科技re:Invent全球大会 - 官方网站

点击此处，一键获取亚马逊云科技全球最新产品/服务资讯！

点击此处，一键获取亚马逊云科技中国区最新产品/服务资讯！

即刻注册亚马逊云科技账户，开启云端之旅！

【免费】亚马逊云科技“100 余种核心云服务产品免费试用”

【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”

亚马逊云科技是谁？

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者，自 2006 年以来一直以不断创新、技术领先、服务丰富、应用广泛而享誉业界。亚马逊云科技可以支持几乎云上任意工作负载。亚马逊云科技目前提供超过 200 项全功能的服务，涵盖计算、存储、网络、数据库、数据分析、机器人、机器学习与人工智能、物联网、移动、安全、混合云、虚拟现实与增强现实、媒体，以及应用开发、部署与管理等方面；基础设施遍及 31 个地理区域的 99 个可用区，并计划新建 4 个区域和 12 个可用区。全球数百万客户，从初创公司、中小企业，到大型企业和政府机构都信赖亚马逊云科技，通过亚马逊云科技的服务强化其基础设施，提高敏捷性，降低成本，加快创新，提升竞争力，实现业务成长和成功。