HBM（High Bandwidth Memory），限制当前算力卡性能的关键因素

HBM，即高带宽内存（High Bandwidth Memory），是一种先进的存储解决方案，主要用于CPU/GPU的内存芯片，也就是RAM。它与传统的DDR内存芯片不同，通过采用硅通孔（TSV）和芯片堆叠技术，实现了立体堆叠的DRAM架构。
HBM是限制当前算力卡性能的关键因素，海力士、三星、美光正加大研发投入和资本开支，大力扩产并快速选代HBM，预计2024年HBM3e 24GB/36GB版本将量产/发布，内存性能进一步提高。HBM供需将持续紧俏，市场规模高速增长。
存储性能是当下制约高性能计算的关键因素，从存储器到处理器，数据搬运会面临带宽和功耗的问题。为解决传统DRAM带宽较低的问题，本质上需要对单I/O数据速率和位宽进行提升。HBM由于采用了ISV、微凸块等技术，DRAM裸片、计算核心间实现了较短的信号传输路径、较高的I/O数据速率、高位宽和较低的I/O电压，因此具备高带宽、高存储密度、低功耗等优势
即便如此，当前HBM的性能仍然跟不上算力卡的需求。三大原厂持续加大研发投入，HBM性能倍数级提升。目前最先进的HBM3e版本，理论上可实现16层堆叠、64GB容量和1.2TB/s的带宽。2024年上半年，海力士、三星、美光均会推出24GB容量的HBM3e，均为8层堆叠，2024年下半年，三家厂商将推出36GB版本的HBM3e或为12层堆叠。此外，HBM4有望于2026年推出。
AI刺激服务器存储容量扩充，HBM需求强劲。随着云计算厂商将更多资本开支投入AI基础设施，AI服务器ODM对2024年展望乐观，预计2024年AI服务器出货量继续大幅增长。相较于一般服务器而言，AI服务器多增加GPGPU的使用，以NVIDIA A100/H100 80GB配置8张计算，HBM用量约为640GB，超越常规服务器的内存条容量，H200、B100等算力卡将搭载更高容量、更高速率HBM。随着算力卡单卡HBM容量提升、算力卡出货量提升、技术迭代带来单GB HBM单价提升。