作为AMD最新推出的AI GPU旗舰产品,MI300X专为数据中心和AI计算而设计,旨在与NVIDIA的顶级产品正面竞争。即将推出的MI325X将对标H200,而MI350和MI400则对标Blackwell B200。
Chips and Cheese在各种基准测试中测试了AMD的这款怪兽级GPU,发现它在高速缓存、延迟、推理等方面的性能都远超英伟达的 H100。
Chips and Cheese的基准测试揭示了基于AMD尖端CDNA 3架构构建的MI300X,在硬件方面是一个出色的设计。由于其总共四个缓存的组合,包括32KB的L1缓存、16KB的标量缓存、4MB的L2缓存和巨大的256MB无限缓存(作为L3缓存),芯片的缓存性能看起来非常令人印象深刻。CDNA 3是第一个继承无限缓存的架构,该缓存首次出现在RDNA 2上(AMD的第二代游戏图形架构,驱动RX 6000系列)。
MI300X GPU核心不仅可以使用四个缓存,而且它们还非常快速。Chips and Cheese的缓存基准测试显示,MI300X的缓存带宽在所有相关缓存级别上都大大超过了Nvidia的H100。L1缓存性能显示,MI300X的带宽比H100高出1.6倍,L2缓存的带宽高出3.49倍,MI300X的最后一级缓存(即其无限缓存)的带宽高出3.12倍。
即使在H100的SXM版本上时钟更高,我们也不会期望这些缓存结果发生根本性变化。但是,缓存带宽和延迟本身并不一定说明GPU在实际工作负载中的表现。例如,RTX 4090的LLC带宽比H100 PCIe高出27%,但在许多工作负载中,H100将证明更有能力。
在MI300X的VRAM和本地内存性能(即标量缓存)中也存在类似的优势。AMD GPU拥有2.72倍的本地HBM3内存,VRAM带宽比H100 PCIe高出2.66倍。AMD GPU在内存测试中唯一失利的领域是内存延迟结果,H100快了57%。
请记住,这是在最低规格的H100 PCIe卡上看到的,它拥有80GB的HBM2E。像H200这样的后续版本包括高达141GB的HBM3E,带宽高达4.8 TB/s。H100 SXM变体也有更快的HBM,提供高达3.35 TB/s的带宽,因此使用2.0 TB/s的卡明显限制了内存带宽。
接下来,原始计算吞吐量是MI300X主导Nvidia H100 GPU的另一个领域。指令吞吐量明显偏向AMD芯片,有时MI300X比H100快5倍,最差时也大约快40%。Chips and Cheese的指令吞吐量结果考虑了INT32、FP32、FP16和INT8计算。
看看这些数据中心GPU的当前和上一代结果也很有趣。H100 PCIe在某些工作负载中,如FP16 FMAs和Adds,显示出更强的性能,但在其他地方它只比A100略快。另一方面,AMD的MI300X比上一代MI210显示出普遍的巨大改进。
Chips and Cheese进行的最后一项测试,显然也是最重要的测试,是AI推理测试,不仅涉及MI300X和H100,还涉及GH200(对于其中一项测试)——与低级测试不同,这次Nvidia GPU是更快的SXM变体。Chips and Cheese进行了两项测试,使用Mixtral 8-7B和LLaMA3-70B。
Mixtral的结果显示了各种配置选项可以产生多大的差异——例如,单个H100 80GB卡内存不足,而没有KVcache的MI300X也表现不佳。GH200做得更好,尽管MI300X仍然领先,而两个H100 SXM5 GPU的性能提高了约40%。(要使用所选设置运行模型,需要两个H100 GPU。)
转向LLaMA3-70B的结果,我们看到了一组不同的硬件。这一次,即使是两个H100 GPU也因为内存不足而无法运行模型(输入和输出长度设置为2048,使用FP16)。单个H100使用INT8在相同的2048输入/输出长度设置下也表现相当差。将长度减少到128大大提高了性能,尽管仍然远远落后于MI300X。两个H100 GPU使用INT8,输入/输出长度为128,终于开始看起来至少有些竞争力。
对于拥有192GB巨大内存的MI300X,它能够使用FP16运行2048和128长度,后者提供了4,858的最佳结果。很遗憾,这里没有Nvidia的H200的更多测试结果,理论上应该会比H100结果好些。
AMD的意图很明显,CDNA 3架构和MI300X是朝着正确方向迈出的一大步。基于这些结果,有些工作负载MI300X不仅与H100竞争,而且可以声称性能冠军。当然,由于硬件可用性有限,我们希望看到更多这类基准测试——独立测试——以让所有硬件都能发挥出最佳性能。
MI300X的原始缓存、带宽和计算结果看起来非常好。但这些GPU也是为扩展和大型安装而设计的,所以即使单个MI300X明显击败单个H100(或H200,就此而言),这并不意味着当数十、数百甚至数千个GPU协同工作时情况会如何变化。软件和生态系统也很重要,Nvidia过去在CUDA方面一直领先。关于AMD MI300X和Nvidia H100的最终结论还未确定,这里还有一些待解答的问题…
**赋创(EMPOWERX)**作为高性能计算领域的先锋,一直致力于推动技术创新,我们会及时关注最前沿的科技动态,为客户提供高效、可靠的计算解决方案。
如果您对服务器市场有进一步的问题或需要更详细的信息,请随时私信我们【4006-997-916 / 0755-86936235】。