探索全新的亚马逊云科技AmazonGraviton4处理器与应用

关键字: [亚马逊云科技中国峰会2024, Graviton, Graviton 处理器性能, Arm 架构优化, 应用负载测试, 成本优化分析, 实例性能评估]

本文字数: 2200, 阅读完需: 11 分钟

导读

在亚马逊云科技中国峰会2024上,演讲者介绍了亚马逊全新的Graviton 4处理器。该处理器具有96个物理核心、更大的二级缓存和更高的内存带宽,性能比上一代提升30%。新的R6G实例搭载Graviton 4处理器,具有出色的性价比和扩展性。Graviton处理器适用于高并发、计算密集型和内存密集型工作负载,可为客户带来高达32%的成本优化。亚马逊鼓励客户尝试Graviton实例,获得更好的性能和成本效益。

演讲精华

以下是小编为您整理的本次演讲的精华，共1900字，阅读时间大约是10分钟。

亚马逊云科技中国峰会2024的一场精彩分享,主题是探索全新Amazon Graviton 4处理器与应用。作为亚马逊的解决方案架构师,袁泉女士向我们全面介绍了亚马逊Graviton处理器家族的发展历程、最新一代Graviton 4处理器的架构和性能指标,以及多种常见应用在Graviton 4上的表现测试结果。

袁泉首先回顾了Graviton处理器家族的发展历程。自2018年首款Graviton实例A1发布以来,经过5-6年的发展,亚马逊如今已经推出了第四代Graviton实例。随着新一代实例的不断推出,亚马逊能够在云上提供超过150种不同规格的基于Graviton的实例,满足不同场景的需求。全球已有超过5万家客户使用Graviton处理器搭载各种应用和工作负载。

接下来,袁泉着重介绍了Graviton 4处理器的三个关键指标:首先,物理核心数量增加了50%,从第三代的64个核心增加到96个核心;其次,每个核心配备的二级缓存容量从1MB增加到2MB,提升了一倍;最后,采用了最新的DDR5内存控制器,内存带宽提高了75%。这些改进无疑将为Graviton 4处理器带来更出色的计算性能。

基于这款定制的Graviton 4处理器,亚马逊推出了R6g实例系列。R6g是一款内存优化型实例,vCPU与内存的比例为1:8。相比上一代R5g实例,R6g的整体计算性能提升了30%,同时也是EC2实例家族中最具性价比的一款。在扩展性方面,R6g实例的最大规格可达192个vCPU,而上一代R5g只能提供最大64vCPU的单实例规格。如果应用需要在单实例上拥有大量vCPU和内存资源,R6g将是不错的选择。

袁泉还为我们深入解析了Graviton 4处理器的架构。它由7个芯片模块组成,中间是96个物理核心以Mesh拓扑相连,每个核心配备2MB L2缓存。处理器两侧提供12条DDR5 5600MHz内存通道,以及96个PCIe 5.0接口用于连接外设,如磁盘和网卡等。整个系统支持数据传输加密,保证了安全性。

在研发过程中,亚马逊非常关注处理器的实际性能表现。袁泉使用雷达图的方式展示了一些基准测试结果。图中每个维度的轴代表了CPU的一项能力指标,数值越低表示该工作负载对该指标的依赖越小。我们可以看到,微基准测试如STREAM对L3缓存的压力很大;而常见的云上应用如Cassandra、Groovy和Nginx则会更均衡地使用CPU的各项能力。

袁泉还对比了MySQL这一常见数据库在Graviton 3和Graviton 4上的性能表现。结果显示,MySQL在Graviton 4上的性能提升高达40%,且对CPU的各项指标的敏感度都较低。这无疑是一个令人振奋的进步。

Graviton 4处理器的其他一些关键改进包括:L2缓存两倍性能提升、CPU前端流水线优化,以及从Neoverse N1微架构升级到Neoverse V2,支持ARMv9指令集。这些改进都将为Graviton 4处理器带来更出色的计算性能。

接下来,袁泉分享了一些常见应用在Graviton 4上的表现测试结果。以MySQL为例,通过HammerDB工具模拟TPC-C工作负载的测试发现,Graviton 4相比Graviton 3有约40%的性能提升。这个数据再次印证了Graviton 4处理器卓越的计算能力。

袁泉还分享了一个部署在Yarn上的Hadoop集群应用案例。该应用的Pipeline名为Matcher,它将广告请求和用户行为回调数据根据事务ID进行匹配,并最终输出到消息队列。由于输入数据量级在亿万级且持续增长,给Pipeline带来了很大压力。

他们的资源分为计算和存储两类。存储资源相对容易扩展,但计算节点成本较高,一直扩容会带来巨大的成本压力。当前计算节点在内存、CPU和网络等方面的资源使用率已接近上限。

亚马逊为他们提供了Graviton 3的ARM实例作为一种更快更便宜的选择。袁泉列出了两种x86实例类型对应的Graviton 3 ARM实例,从CPU、内存和网络表现来看是一致的,但ARM实例的价格便宜约15%,可能还具有更好的性能。

因此,他们决定进行一系列测试,包括测试不同机型、部署架构、JDK版本,以及单机和完整集群测试等,并测量吞吐量、CPU、IO和网络等指标。他们使用SystemTank等工具进行单机基准测试,也对线上数据进行等比例缩放并重放到测试集群中评估整体性能。

基准测试结果显示,基于Graviton 3的ARM实例在CPU、内存和磁盘IO等各方面表现出色,几乎每一项指标都有明显提升。这让他们对在完整的Pipeline上实现同样效果充满期待。

他们进行了初步的Pipeline完整测试,使用JDK 1.8版本,因为线上也在使用该版本。结果显示,在单节点情况下吞吐量提升26%,但在60节点的大规模集群中,吞吐量反而下降,这让他们感到困惑。

经咨询亚马逊架构师和调研,发现官方建议JDK 8只提供了ARM架构支持,如需更好的性能和稳定性,建议升级到JDK 11或更高版本。为了排除JDK 11在x86上也能获得同样提升的可能性,他们进行了测试,结果性能变化不大。

因此,他们决定使用JDK 11重新测试。首先需要评估JDK的兼容性,构建基于JDK 11的AMI映像,然后使用该AMI进行完整Pipeline测试。

重新测试的结果与他们的预期一致。使用10个节点的M6g.2xlarge实例相比M5.2xlarge实例,吞吐量提升20.9%。使用5个节点的R7g内存密集型实例相比R5实例,吞吐量提升19%,同时成本降低32%,这是一个非常理想的情况。

他们还查看了一些其他基准指标,如JVM峰值内存使用率等,差异不太明显。

最后,他们关注成本问题。由于ARM实例单价便宜15%左右,再加上20%左右的性能提升,他们能够使用更少的节点支持同等数据量,因此整体能为该应用带来32%的成本优化,这对他们来说是非常理想的。

随后,袁泉将时间交给了亚马逊解决方案架构师肖洪亮,他将进一步介绍Graviton在FreeView的应用情况。

肖洪亮表示,如果说上一个话题是星辰大海的话,那EC2 Graviton就是他们平时的柴米油盐。它与客户真正关心的性能和成本息息相关,所以他们一直在推动客户尝试和体验Graviton实例,并在不同场景下发掘Graviton能为客户带来的益处。

如果应用是高并发或高吞吐的场景,或者是内存计算密集型应用,那么在Graviton上很容易获得显著的性能和成本优势。

肖洪亮列举了FreeView在Graviton上的一些应用案例。对于使用Golang开发的高并发数据服务,没做任何Graviton适配就获得了40%以上的QPS提升,结合价格优势,成本优势会更大。对于像Squid这样的开源反向代理解决方案,或者Prometheus这样的监控解决方案,也不需要做太多修改,直接在Graviton上部署,就能获得吞吐量提升和15-20%的成本下降的好处,同时性能不会比x86差。

在大数据领域,Java应用天生适合迁移到Graviton。只需替换机型,不需要修改应用程序,就可以轻松将Spark等大数据应用迁移到Graviton上。他们有一个客户的PrivateHadoop集群,测试显示可获得9%的性能提升,加上15%的价格下降,整体性价比提升20%以上。

为了加速Graviton实例的应用,FreeView与客户一起构建了EC2 Benchmark自动化平台。该平台可自动调用EC2、运行基准测试工具、将结果输出到S3,并在前端界面清晰展现不同实例类型的性能和成本数据,帮助业务团队快速选择合适的实例。

肖洪亮总结道,如果应用使用Go语言开发,特别是1.16及以上版本,或者是大数据应用使用Java 11及以上版本,那么迁移到Graviton都能获得非常好的效果。此外,高并发、计算密集、网络密集的应用,以及通用软件如Nginx、Redis等,在Graviton上也能获得不错的性价比提升。他诚挚地邀请大家尝试Graviton实例,获得更好的性价比体验。

总的来说,这次分享全面介绍了亚马逊Graviton处理器家族的发展历程、最新一代Graviton 4处理器的架构和性能指标,以及多种常见应用在Graviton 4上的表现测试结果。通过案例分析,我们可以看到Graviton 4不仅在计算性能上有了大幅提升,而且由于价格更加亲民,能为用户带来显著的性价比优势,特别是在高并发、计算密集、内存密集等应用场景。未来,Graviton处理器必将为云计算领域注入新的活力。

下面是一些演讲现场的精彩瞬间：

在亚马逊云科技中国峰会2024的演讲中，演讲者将在开场15分钟内探讨全新Graviton处理器的最新进展和强大实力。

亚马逊云科技中国峰会2024演讲中,演讲者通过一张图片展示了传统微基准测试的示意图,并解释了该测试对三级数据缓存(L3)的高压力测试,导致了后端停滞的现象。

亚马逊云科技中国峰会2024:探讨如何利用JDK 11优化云服务性能,并分享了基于JDK 11和JDK 8的性能测试结果对比。

亚马逊云科技中国峰会2024上,演讲者强调基于ARM的Graviton3处理器可带来32%的成本优化,为客户提供理想的解决方案。

亚马逊云科技中国峰会2024上,演讲者强调了在Graviton上部署开源应用程序如Squid和Prometheus的优势,包括提高吞吐量、降低成本约15%至20%,同时保证与x86相当的性能。

亚马逊云科技与客户合作构建了自动化EC2基准测试平台,帮助客户快速评估不同实例类型的性能和成本效益。

亚马逊云科技高管热情地邀请大家尝试Graviton处理器,体验其出色的性价比。

总结

探索全新 Amazon Graviton4 处理器与应用

亚马逊云科技中国峰会2024上,亚马逊解决方案架构师袁泉分享了全新 Graviton4 处理器的进展和实力。她首先介绍了亚马逊 Graviton 处理器家族的发展历程,从第一代到第四代实例种类已超过150个规格,服务全球超过5万家客户。

接着,袁泉重点介绍了 Graviton4 处理器的三大亮点:核心数量增加50%至96个物理核心、二级缓存容量增加一倍至2M、采用DDR5内存控制器使内存带宽提高75%。她还详细解析了 Graviton4 处理器的架构设计,强调了数据传输加密等安全性。

通过多个基准测试案例,袁泉证明了 Graviton4 处理器在不同应用场景下的卓越性能,尤其是在高并发、计算密集型和内存密集型工作负载中,性能提升高达40%。同时,Graviton4 实例也是亚马逊 EC2 实例中性价比最高的。

最后,亚马逊解决方案架构师肖洪亮分享了客户 FreeView 在 Graviton 实例上的应用实践。他总结了 Graviton 实例适用的优秀场景,如 Go 语言开发、大数据应用、高并发计算密集型应用等,并呼吁客户积极尝试 Graviton 实例以获得更好的性价比体验。

2024年5月29日，亚马逊云科技中国峰会在上海召开。峰会期间，亚马逊全球副总裁、亚马逊云科技大中华区总裁储瑞松全面阐述了亚马逊云科技如何利用在算力、模型、以及应用层面丰富的产品和服务，成为企业构建和应用生成式 AI 的首选。此外，活动还详细介绍了亚马逊云科技秉承客户至尚的原则，通过与本地合作伙伴一起支持行业客户数字化转型和创新，提供安全、稳定、可信赖的服务，以及持续深耕本地、链接全球，助力客户在中国和全球化发展的道路上取得成功。