AI行业HBM调研报告：AI 硬件核心，需求爆发增长

今天分享的是AI系列深度研究报告：《AI专题：AI 系列之 HBM：AI 硬件核心，需求爆发增长》。

（报告出品方：中泰证券）

AI 硬件核心是算力和存力，HBM 高带宽、低功耗优势显著，是算力性能发挥的关键

AI 芯片需要处理大量并行数据，要求高算力和大带宽，算力越强、每秒处理数据的速度越快，而带宽越大、每秒可访问的数据越多，算力强弱主要由 AI芯片决定,带宽由存储器决定，存力是限制 AI 芯片性能的瓶颈之一。AI 芯片需要高带宽、低能耗，同时在不占用面积的情况下可以扩展容量的存储器。HBM 是 GDDR 的一种，定位在处理器片上缓存和传统 DRAM 之间，兼顾带宽和容量，较其他存储器有高带宽、低功耗、面积小的三大特点，契合AI 芯片需求。HBM 不断选代，从 HBM1 目前最新到 HBM3E，迭代方向是提高容量和带宽，容量可以通过堆叠层数或增加单层容量获得提升，带宽提升主要是通过提升 I/O 遂度。

HBM 市场爆发式增长，海力士和三星垄断市场

目前主流 AI 训练芯片均使用 HBM，一颗 GPU 配多颗 HBM，如英伟达1颗H100使用5颗HBM3、容量 80GB，23 年底发布的 H200 使用6颗 HBM3E(全球首颗使用 HBM3E 的 GPU)、容量达 144GB，3月18日，英伟达在美国加州圣何寨召开了 GTC2024 大会发布的B100 和B200使用192GB(8个24GB8层HBM3E)，英伟达GPU HBM 用量提升，另外AMD 的 MI300 系列、谷歌的 TPU 系列均使用 HBM。根据我们的测算，预计 24 年HBM 市场需求达 150 亿美金，较 23 年翻倍。HBM 的供应由三星、海力士和美光三大原厂垄断，22 年海力士/三星/美光份额 50%/140%/110%，海力士是 HBM 先驱，HBM3 全球领先，与英伟达强绑定、是英伟达主要 HBM 供应商，三星紧随其后，美光因技术路线判断失误份额较低，目前追赶中，HBM3E进度直逼海力士。目前HBM 供不应求，三大原厂已开启军备竞赛，三大原厂一方面扩产满足市场需求、抢占份额，海力士和三星 24年 HBM 产能均提升2倍+，另外三大原厂加速推进下一代产品 HBM3E 量产以获先发优势，海力士3月宣布已开始量产8层HBM3E，3月底开始发货，美光跳过HBM3 直接做HBM3E，2月底宣布量产8层HBM3E，三星2月底发布 12 层 HBM3E。

先进封装大放异彩，设备和材料新增量

HBM采用 3D堆叠结构，多片HBM DRAM Die 堆叠在 Logic Die 上，Die 之间通过 TSV 和凸点互连，先进封装技术 TSV、凸点制造、堆叠键合是 HBM 制备的关键，存储原厂采用不同的堆叠键合方式，海力士采用 MR-MUF 工艺，三星和美光采用 TCB 工艺，MR-MUF 工艺较 TCB 工艺效率更高、散热效果更好，HBM 对先进封装材料的需求带动主要体现在 TSV、凸点制造和堆叠键合1底填工艺上，带来对环氧塑封料、硅微粉、电镀液和前驱体用量等的提升，在设备端 HBM 带来热压键合机、大规模回流焊机和混合键合机等需求。

HBM 高带宽、低功耗优势显著，缓解内存墙问题

存储带宽提升速度慢于算力提升速度。大模型的训练可以简化为 2 步： 1）浮点运算（FLOPS），运行矩阵乘法，2）存储（带宽），等待数据或者计算资源。 过去大模型的训练时间主要受限于算力，英伟达等