高带宽存储器（HBM）的现状与未来挑战

    随着数字化转型和超大规模人工智能（AI）模型的兴起，海量数据集的生成显著增加，导致对快速计算的需求不断增长。AI、自动驾驶和智能服务等新技术的普及进一步推动了对高性能计算能力的需求，以处理海量数据。特别是随着以ChatGPT为代表的超大规模AI模型竞争加剧，对超高性能计算的需求愈发迫切。因此，针对高容量数据处理的优化存储解决方案需求显著涌现。

冯·诺依曼架构由独立的处理单元（CPU/GPU）和存储器组成，但由于数据移动延迟的限制，面临系统性能下降的挑战。高带宽存储器（HBM）作为缓解此类数据移动瓶颈的潜在解决方案，受到广泛关注。凭借其高带宽特性，HBM能够实现大规模数据的并行传输和快速处理，因此成为需要高性能计算能力的行业焦点。此外，HBM在推动高性能计算（HPC）方面具有巨大潜力，并已成为AI/ML及其他高性能计算工作负载的首选存储解决方案，可在紧凑的高容量安装空间中提供无与伦比的存储带宽。

HBM的发展始于128GB/s的速度和最多4层堆叠的2Gb器件，通过持续开发逐步提升速度。近期量产的HBM3E在不到十年内实现了超过1.18TB/s的带宽，使HBM成为市场上全新HPC加速器的基石。然而，由于DRAM单元固有的物理限制，维持高速提升愈发困难。此外，因速度和容量提升引发的发热问题，以及在受限结构中增加容量的必要性，也成为新的挑战。    

图1：训练Transformer模型的计算需求

表I:HBM各代关键特性对比

当前高带宽存储器（HBM）

自2014年推出以来，HBM持续演进以满足高性能计算（HPC）、高端图形处理器（GPU）和人工智能（AI）对高容量、低延迟存储器的需求。随着HBM2、HBM2E、HBM3等代际升级，以及近期量产的HBM3E，带宽和容量需求持续攀升。

SK海力士开发的HBM3E是目前全球最高规格的HBM产品，每秒可处理超过1.18TB数据。相比前代HBM3，其速度提升1.4倍，容量增加1.5倍。HBM3提供8层堆叠（8H）的16GB容量和12层堆叠（12H）的24GB配置，而HBM3E在8层堆叠中即可实现24GB容量。SK海力士正为未来的12层堆叠36GB容量产品做准备。通过应用先进MR-MUF技术，HBM3E的散热性能较前代提升10%，并具备向后兼容性，可直接适配现有CPU/GPU设计。    

然而，DRAM单元的基础物理特性未变，维持高速传输的难度日益增加。为此，HBM4计划采用更宽的2048位存储接口以支持技术革新。

图2：HBM3E产品图

HBM的挑战与解决方案

A.HBM带宽扩展

HBM的核心在于高带宽特性，其带宽在过去十年中每两年翻倍。然而，提升I/O速度与硅中介层的信道特性成为瓶颈。下一代HBM将采用2048位I/O，通过增加宽度而非频率提升总带宽，同时结合先进逻辑工艺优化基片性能。    

B.功耗与热管理挑战

HBM的2.5D结构易导致热量积聚，靠近GPU的DRAM易受热退化影响。传统HBM基片功耗占总功耗的40%，而采用逻辑工艺可将供电电压从1.1V降至0.8V，实现50%的功耗节省。SK海力士的MR-MUF封装技术支持散热优化，通过增加TSV（硅穿孔）进一步降低功耗。

图3：HBM与其他DRAM应用的I/O速度与宽度对比

图4：HBM-GPU模块的热分析

C.提升DRAM密度    

方法包括增加单芯片DRAM单元数量或堆叠更多芯片。HBM2单芯片密度为8Gb，HBM3E提升至24Gb，12层堆叠达36GB，16层达48GB。但技术微缩放缓与超薄芯片堆叠（如30μm厚度）带来挑战。硅中介层尺寸限制也推动行业转向LSI（局部硅互连）和混合键合技术。

图5：HBM3E的电源TSV分布方案

图6：HBM密度趋势    

图7：台积电（TSMC）4倍光罩尺寸中介层规划

结论

HBM凭借高带宽和低延迟成为AI与HPC的核心存储方案。尽管面临速度维持、散热等挑战，HBM3E等创新已显著提升性能。未来将通过更宽I/O、逻辑工艺集成和热管理技术持续突破。与客户协作优化基片设计、采用近存储处理架构及高速SERDESIP方案，将推动HBM在高效能存储半导体领域的持续领先。