HBM：让ChatGPT突破内存墙的高带宽存储器

HBM：让ChatGPT突破内存墙的高带宽存储器

摘要

在当前以生成类模型为代表的人工智能领域，内存带宽和存储容量成为瓶颈，制约了计算性能的提升。HBM（High Bandwidth Memory，高带宽存储器）作为一种基于3D堆叠工艺的高附加值DRAM产品，通过增加带宽和扩展内存容量，减少了内存和存储带来的延迟，成为突破“内存墙”的关键技术。本文将详细探讨HBM的技术特点、市场现状及其在AI计算中的应用。

1. 引言

人工智能的发展，尤其是以ChatGPT为代表的生成类模型，对计算资源提出了更高的要求。模型训练需要处理海量数据，对内存的带宽和容量提出了严峻挑战。传统的DRAM性能提升速度远远慢于处理器，造成了所谓的“内存墙”问题。在这种背景下，HBM以其高带宽、低功耗和3D堆叠技术，成为解决内存瓶颈的重要路径。

2. HBM技术特点

HBM通过TSV（Through-Silicon Via，硅通孔）技术实现多个DRAM芯片的垂直堆叠，并与GPU等处理器紧密集成。其主要技术优势包括：

• 高带宽：HBM通过增加数据通道和提高I/O速率，显著提升了数据传输带宽。例如，最新的HBM3带宽达到819GB/s，比HBM1提高了6倍多。
• 低功耗ÿ