CMP327 | Amazon Graviton 的深度挖掘：为您的亚马逊云科技工作负载提供最佳的价格性能

CMP327 | Amazon Graviton 的深度挖掘：为您的亚马逊云科技工作负载提供最佳的价格性能

关键字: [Amazon Web Services re:Invent 2023, Graviton, Graviton Performance, Price Performance, Amazon Web Services Workloads, Graviton Processors, Arm Software Ecosystem]

本文字数: 300, 阅读完需: 2 分钟

视频

导读

从 Amazon EC2 中的许多主要实例族到 Amazon Lambda、Amazon Aurora 和 Amazon Elastic Kubernetes Service 等托管服务，数以万计的客户使用基于 Amazon Graviton 的实例，为亚马逊云科技上各种各样的工作负载提供显著的性价比优势。Amazon Graviton3 处理器的性能比 Amazon Graviton2 处理器高25%，后者已经提供了显著的性价比优势。本次分享将深入讨论 Amazon Graviton3 处理器，包括合适的工作负载和采用的考虑因素，并由一位亚马逊云科技客户来讲述他们的处理器采用经验。

演讲精华

以下是小编为您整理的本次演讲的精华，共0字，阅读时间大约是0分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。

在2022年re:Invent上，亚马逊云科技对Graviton进行了深入的探讨。主讲人Sudhir Raman和Oran Barak介绍了他们自己和演讲的主要内容。Sudhir首先讲述了亚马逊云科技在过去几年里在研发定制芯片方面的投资，以便优化云计算中的特定应用。这包括通过Nitro卡卸载存储和网络功能，以及用于推理的Inferentia和用于模型训练的Trainium等创新。

亚马逊云科技在定制芯片领域的工作重点之一是开发基于ARM的Graviton系列处理器，用于驱动亚马逊的EC2实例。Graviton的发展始于2018年，当时推出了第一代Graviton芯片，证明了基于ARM的服务器可以有效运行云工作负载。2019年，Graviton 2的性能核心数提高了2倍，核心数量提高了4倍，相较于Graviton 1取得了重大进步。如今，在2022年re:Invent刚刚宣布的Graviton 3，它们在已经令人印象深刻的Graviton 2芯片上实现了更大的性能提升。

Sudhir详细解释了Graviton 2如何为12种针对不同工作负载优化的EC2实例系列提供动力，包括通用、计算优化、内存优化和存储优化。与其他实例系列相比，Graviton 2提供的每核心性能提高高达40%，这使得来自许多行业和地区的客户，从初创企业到大型企业，都非常满意。

前48名使用Graviton 2来降低成本的客户中，有48名是亚马逊云科技的最大客户。一个典型的客户例子是WSL，一家领先的域名和托管服务提供商，他们在Graviton 2实例上观察到存储运行时间减少了50%，从而实现了巨大的成本节省。除了成本之外，客户还重视Graviton 2的能源效率优势。日本主要移动运营商NTT Docomo在Graviton 2实例上运行其5G核心网络软件时，功耗降低了72%。令人印象深刻的是，亚马逊本身就在Prime Day期间在大规模规模上依赖Graviton 2服务器为许多关键零售服务提供支持，展示了其成熟度和生产准备情况。

第三代Graviton 3处理器已经问世，相较于前一代产品，其在性能和效率方面均有显著提升。这款处理器首先应用于Amazon Web Services(亚马逊云科技)的C7g实例中，为计算密集型任务提供了卓越的性能价格比。具体而言，Graviton 3的整体计算能力较Graviton 2提升了约25%。这主要归功于采用了DDR5内存技术，使得浮点数处理能力翻倍，达到两倍，同时内存带宽增加了50%。此外，Graviton 3在机器学习能力推理方面的表现也大幅提升，最高可达三倍。因此，相较于同类其他实例系列，基于Graviton 3的实例能效提高了60%。

为了深入了解Graviton 3的架构改进，Sudhir深入研究了其内部结构。这款处理器包含了超过500亿个晶体管，远超Graviton 2中的300亿个。核心已被重新设计，以提高每周期指令数（IPC），如通过更宽的前端、改进的分支预测以及双倍ALU。Graviton 3还引入了一些安全增强功能，如指针认证。内存架构仍沿用Graviton 2的直接连接方式，避免了非统一内存访问（NUMA）效应。所有核心共享一个高带宽网状互连，并可访问超过100MB的片上共享缓存。DDR5内存控制器相较于Graviton 2中使用的DDR4内存，带宽提高了50%。

在实际工作负载测试中，Graviton 3在Spark SQL分析和视频编码等领域展现了显著优势。在一个8节点的分析集群上，Graviton 3完成Spark SQL查询的速度比Graviton 2快了28%。使用ffmpeg进行视频编码时，针对Graviton的优化使得性能提高了60%以上。Sudhir还发现，在PyTorch和TensorFlow模型上的机器学习推理方面也取得了重大进展，双矢量宽度和软件优化带来了显著的性能提升。

亚马逊云科技的顾客们在将Graviton 3应用于其工作负载后，均给予了积极反馈。DISH发现一个核心应用的性能提升了45%，同时成本得到降低。SmugMug观察到各项服务性能提升了25-30%，使他们能够在不扩大实例规模的情况下应对业务增长。Grafana Labs指出，即使在高负载情况下，Graviton 3也能提供更一致的延迟分布。

随着Graviton软件生态系统的成熟，越来越多的应用程序可以轻松地迁移到这些基于ARM的实例上。目前，所有主要操作系统都支持Graviton，包括容器、数据库、开发工具等。Graviton Ready计划还认证了针对这些处理器的合作伙伴解决方案，涵盖负载平衡器、可观察性、安全性和CI/CD等领域。令人兴奋的是，SAP最近宣布与亚马逊云科技合作，支持SAP HANA在Graviton上运行。

在评估迁移最佳实践时，Sudhir建议从当前的基于Linux的工作负载和软件开始，使用架构特定的容器镜像，编译C/C++代码，启用大型系统扩展，并升级到较新的Java版本。利用多架构容器注册表和构建工具简化容器化过程。在生产部署之前，可以免费试用Graviton实例进行充分测试。GitHub指南提供了全面的技术细节和调整建议。像ECS、EKS和SageMaker这样的托管服务使得在Graviton上运行具有非常低的摩擦，在许多情况下只需要最少的或不需要代码更改。

在此阶段，Sudhir将发言权交给了Stripe的Oran Barak，以提供关于采用Graviton的客户视角。Stripe是一家为全球数百万家企业提供在线支付服务的快速增长的金科技公司。他们的基础设施已经大规模扩展，过去两年里VM数量增加了5倍。由于他们在金融系统中的角色，正常运行时间和可靠性至关重要。Oran解释了亚马逊云科技如何在大约六个月前向他们推销Graviton，强调了其节省成本的潜力。尽管他们不愿意改变在x86上运行得很好的东西，但20-40%的成本削减预测实在是太有吸引力了，无法忽略。

Stripe决定为他们的内部查询引擎工作负载试点Graviton，他们在其他公司成功采用的基础上进行了研究。他们认为这个初始用例的努力是合理的。在他们为Graviton构建了一个基于Ubuntu的自定义操作系统后，并扩充了他们的构建和部署管道，他们进行了广泛的测试。这包括在生产工作负载的相同Graviton和x86集群上重播，并比较结果。平均而言，他们观察到Graviton上的查询性能提高了50%以上。短查询快了37%，中等查询快了57%，所有查询平均快了54%。

Graviton的处理器性能也变得更加稳定，高负载情况下的峰值更少。随着更多的查询在预定的时间窗口内完成，错误率降低了10-15%。由于这些积极的成果，Stripe已经开始将其用于处理这些工作负载的生产环境。

Oran总结了他们的主要发现。Graviton提供了出色的即插即用性能，没有稳定性问题。然而，对真实负载进行全面的基准测试对于证明性能改进至关重要，而不仅仅是依赖个别的测试。在逐步将生产环境从x86迁移到Graviton的过程中，需要谨慎规划以确保过渡期间的可用性。未来，Stripe计划评估Graviton 3并将其应用于更多服务，亚马逊云科技的专业服务将协助加快大规模迁移。

总的来说，这次会议全面介绍了亚马逊云科技的Graviton处理器的情况，包括Graviton 3的设计改进、实际性能基准测试结果以及客户的迁移经验。显然，Graviton已经成为一个在经济高效地运行不同类型工作负载的强大选择。随着亚马逊云科技的持续创新和优化投入，以及更广泛的生态系统支持，Graviton的采用将显著加速。例如，Stripe等公司的成功迁移表明了今天就可以实现的重大收益。对于任何运行云工作负载的组织而言，随着Graviton在扩展到与x86实例相当甚至超越它们的应用程序范围方面取得同等水平，都值得认真考虑。

下面是一些演讲现场的精彩瞬间：

苏希·拉曼（Sudhir Raman）担任亚马逊EC2核心计算产品管理负责人，他与Stripe公司核心计算机工程主管奥伦·巴拉克（Oran Barak）共同向观众介绍了他们的工作。

作为全球领先的云计算服务提供商，亚马逊云科技一直在投资研发定制芯片，以提高硬件的效率、成本、功率、速度、创新和安全性能。

自2018年问世以来，亚马逊云科技研发的Graviton芯片在每次迭代中都展现出了令人印象深刻的性能和提升的效率。

根据客户反馈，Graviton 3将所有核心基于高带宽网状架构连接在一起，实现了两倍向量宽度、1.5倍更高的内存带宽以及对bf16的支持，从而大幅提升了机器学习性能。

全新的c7gn2实例提供了最高的网络带宽和处理性能，这得益于最新的节能Nitro v5卡驱动。

领导者们需要在会议应用程序中提供反馈，以便帮助改进未来的活动。

总结

亚马逊云科技在开发定制的ARM基Graviton芯片以优化云效率和性能方面投入巨大。Graviton3作为第三代芯片，拥有超过500亿个晶体管以及DDR5内存等高级功能。

• 使用Graviton实例可以带来显著的成本节约和可持续性优势。例如，Stripe和NTT Docomo等客户已通过迁移到Graviton实现了40-50%的成本降低和60-70%的能耗降低。

• Graviton生态系统已经成熟，支持广泛的操作系统、容器、数据库和应用。亚马逊云科技和合作伙伴提供预编译的软件包、参考架构和工具，以简化迁移过程。

• Stripe成功地将其Reno数据库工作负载迁移到Graviton，实现了50%的更快查询性能。他们计划与亚马逊云科技合作，将Graviton的应用扩展到更多的服务中。

总的来说，Graviton3为改善价格性能提供了一个明确的路径。借助成熟的生态系统、亚马逊云科技提供的工具和迁移援助，客户可以通过采用Graviton实现显著的总体拥有成本节省。

演讲原文

想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！

2023亚马逊云科技re:Invent全球大会 - 官方网站

点击此处，一键获取亚马逊云科技全球最新产品/服务资讯！

点击此处，一键获取亚马逊云科技中国区最新产品/服务资讯！

即刻注册亚马逊云科技账户，开启云端之旅！

【免费】亚马逊云科技“100 余种核心云服务产品免费试用”

【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”

亚马逊云科技是谁？

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者，自 2006 年以来一直以不断创新、技术领先、服务丰富、应用广泛而享誉业界。亚马逊云科技可以支持几乎云上任意工作负载。亚马逊云科技目前提供超过 200 项全功能的服务，涵盖计算、存储、网络、数据库、数据分析、机器人、机器学习与人工智能、物联网、移动、安全、混合云、虚拟现实与增强现实、媒体，以及应用开发、部署与管理等方面；基础设施遍及 31 个地理区域的 99 个可用区，并计划新建 4 个区域和 12 个可用区。全球数百万客户，从初创公司、中小企业，到大型企业和政府机构都信赖亚马逊云科技，通过亚马逊云科技的服务强化其基础设施，提高敏捷性，降低成本，加快创新，提升竞争力，实现业务成长和成功。