HBM学习总结

HBM(高带宽内存)是一种用于GPU和部分CPU的高带宽、高密度内存解决方案。通过堆叠DRAM芯片和硅穿孔技术实现高速互联,提供远超DDR的带宽和位宽。HBM常用于高端GPU和HPC、AI计算,因其高延迟并不适合个人电脑的CPU内存需求。尽管HBM具有容量限制和较高的延迟,但在需要大量并行处理任务的场景中,其优势明显。然而,成本和扩展性问题限制了其在PC市场的广泛应用。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

简介

HBM :High Bandwidth Memory 高带宽存储器
主要作为GPU显存芯片(一般在高端产品中,比如nv面向数据中心的GPU,A100),也作为部分CPU的内存芯片(目前HPC芯片中有应用到,富岳中的A64FX)

HBM将多个DDR芯片堆叠在一起,所以也是个3D结构;每个die之间通过TVS和microbump方式连接;除了堆叠的DRAM die以外,下层会有个HBM控制器逻辑die。然后最下层通过base die(比如说硅中介silicon interposer),来与CPU/GPU等互联。
TVS:硅穿孔技术,让 HBM DRAM 颗粒能够堆叠起来, 好比让每一层都有自己独立的电梯(引脚)。

从侧面来看HBM,来源:AMD

HBM优势:高速、高带宽、高位宽

从这种结构就不难发现,其互联宽度是远大于DDR/GDDR的,下方互联的触点数量可远远多于DDR内存连接到CPU的线路数量。HBM2的PHY接口实施规模,和DDR接口不在一个层面上;HBM2的连接密度高出太多。从传输位宽的角度来看,每层DRAM die是2个128bit通道,4层DRAM die高度的HBM内存总共就是1024bit位宽。很多GPU、CPU周围都有4片这样的HBM内存(如下图),则总共位宽就是4096bit。

作为对比,GDDR5内存每通道位宽32bit,16通道的话总共就是512bit;DDR4的总位宽就更不用多谈了。事实上,现在主流的第二代HBM2每个堆栈可以堆至多8层DRAM die,在容量和速度方面又有了提升。HBM2的每个堆栈支持最多1024个数据pin,每pin的传输速率可以达到2000Mbit/s,那么总带宽就是256Gbyte/s;在2400Mbit/s的每pin传输速率之下,一个HBM2堆栈封装的带宽就是307Gbyte/s。

上图是一个DDR、LPDDR、GDDR和HBM的对比,可以看出在Max I/F BW 上HBM2与其他的技术对比完全不是一个量级。其次看上面的平面图可以看出,HBM与主芯片(CPU/GPU)的位置靠的很近,理论上可以获得更高的传输效率。

高带宽、高延迟这个特性,决定了HBM是非常适用于作为GPU显存的,因为游戏、图形处理本身就是较大程度可预测的高并发工作任务。这类负载的特点就是需要高带宽,而对延迟并没有那么敏感。所以HBM会出现在高端GPU产品上。根据这个道理,其实也决定了HBM非常适合HPC高性能计算、AI计算,所以A64FX和下一代至强处理器虽然是CPU,但也会选择考虑用HBM作内存。

但对于个人电脑来说,CPU要处理的任务具有极大的不可预测性,要求各种随机存储访问,对延迟天生有着更高的敏感度;而且对低延迟的要求往往还高于对高带宽的要求。更何况HBM成本也很高。这就决定了至少就短期来看,HBM很难在PC上替代DDR。似乎这个问题也和GDDR是否可应用于PC内存是类似的。

HBM缺点

主要说的是HBM应用在PC中的一些缺点

可扩展性不高

这里说的可扩展性问题说的是在个人pc上使用场景。HBM芯片一般是和主芯片整合在一块芯片上的,这会降低其灵活性。一般pc内存容量的扩展是个比较常规的能力。

容量偏小

HBM的第二个问题就是,内存容量相比DDR会更受局限。虽说一片HBM封装就可以堆8层DRAM die,但实际上每层也就8Gbit,那么8层就是8GByte。像A64FX这种超算芯片留4个HBM接口,也就是4个HBM堆栈封装,则一颗芯片也就是总共32GByte容量。

这样的容量,在DDR面前还是太小了。消费市场上普通PC要堆大于32GByte的内存真的太常见了。不仅是PC、服务器主板上可扩展的内存插槽一大堆,某些DDR4/5 DIMMs内存颗粒也在搞DRAM die的堆叠。采用比较高端的DRAM die堆叠,2-rank的RDIMM(registered DIMMs)就能做到128GByte容量——考虑高端服务器96个DIMM插槽,那就是至多12TByte的容量。

当然了,HBM和DDR可以混合着一起用,HBM2负责高带宽但小容量,DDR4负责稍低的带宽但大容量。从系统设计的角度来说,HBM2内存在处理器这里就更像是L4 cache了。

访问延迟高

对于PC而言,HBM一直都没有应用于CPU主内存的一个重要原因在于其延迟很高。

当代的DDR内存,在规格上普遍也都会标CL(CAS延迟,列寻址所需的时钟周期,表示读取延迟的长短)。这里我们所说的CAS延迟,是指从读取指令(与Column Address Strobe)发出,到数据准备就绪的过程,中间的一个等待时间。

在内存控制器告诉内存,需要访问某个特定位置的数据后,需要若干个周期的时间以后才能抵达该位置并执行控制器发出的指令。CL是内存延迟中最重要的参数。就延迟长短来说,这里的“周期”其实还需要乘以每周期的时间(越高的整体工作频率,则表明每周期时间越短)。

对于HBM而言,如前所述其特性之一就是互联宽度超宽(或者说并行的传输线路超多,虽然市面上似乎也有更低位宽的版本),这就决定了HBM的传输频率不能太高,否则总功耗和发热撑不住(而且也并不需要那么高的总带宽)。

HBM的频率的确会比DDR/GDDR低很多,三星此前的Flarebolt HBM2内存每pin的传输带宽是2Gbit/s,差不多是1GHz的频率;后来有加压提频到1.2GHz的产品。三星当时提到这个过程还需要考虑降低超过5000个TSV之间的并行时钟干扰;而且要增加DRAM die之间的散热bump数量,来缓解发热问题。上图中AMD在列出HBM的频率其实才500MHz。

此前浙江大学、苏黎世联邦理工学院有发一篇题为Benchmarking High Bandwidth Memory on FPGA的paper。这篇paper主要是研究HBM在FPGA上的细节特性,以及如何基于这些特性来提高FPGA的工作效率。这项研究是基于赛灵思的Alveo U280进行的——这款FPGA之上就带两个堆栈的HBM子系统。


来源:Benchmarking High Bandwidth Memory on FPGA

这篇paper特别提到了:“HBM延迟远高于DDR4。HBM芯片与对应FPGA的连接是通过串行I/O连接进行的,需要针对并行-串行-并行转换的处理。”上面这张表是这项研究中呈现的HBM与DDR4闲时内存访问延迟,这里的page hit是指在内存列访问之前不需要Precharge和Activate指令(行访问时,bank处于open状态),可达成最小延迟的状态。page closed/miss等详情可以参见paper原文。


来源:Benchmarking High Bandwidth Memory on FPGA

可能从系统的角度来看,Alveo U280存在一定的特殊性,不过应该还是能够说明问题的。这里面的每个HBM堆栈都分成了8个独立的内存通道(前面提到的叠4层DRAM die),每个内存通道又进一步切分成了2个64bit的伪通道(pseudo channels)。好像其他包含HBM的系统也是类似的构成方式。

在总共16条内存通道之上,有32个AXI通道与用户逻辑做交互:每个AXI通道提供面向FPGA编程的标准接口,每个AXI通道只允许访问各自的内存区域。为了让每条AXI通道都能访问完整的HBM空间,赛灵思引入了通道之间的switch——后面具体的就不再深入了,可能往上是更具FPGA特殊性的设计。网上还有更多针对HBM延迟的研究。

更宽的位宽,以及更复杂的系统始终是造成HBM访问延迟更高的重要因素。

### HBM2 技术规范 HBM2 是一种高带宽内存技术,由 JEDEC 发布的官方技术规范为其提供了权威性的支持。该技术的核心在于其架构设计、信号接口及时序要求等方面进行了详细的定义[^1]。具体来说: - **架构设计**:HBM2 使用堆叠式存储芯片的设计方式,通过硅通孔(TSV, Through-Silicon Via)技术实现多层 DRAM 芯片之间的垂直连接,大幅减少了数据传输路径长度。 - **信号接口**:HBM2 的信号接口采用了低电压差分信令(LVDS),能够在保持较低功耗的同时提供更高的数据传输速度。 - **时序要求**:为了确保稳定的数据传输,HBM2 对读写操作的时间窗口、命令延迟等参数有严格的规定。 这些特性共同构成了 HBM2 技术的基础框架,并使其成为当前高性能计算领域的重要组成部分之一。 --- ### HBM2 应用场景 基于 HBM2 的高带宽特性和低延迟表现,它的应用场景非常广泛,主要包括以下几个方面: #### 1. 高性能计算 在科学计算和大数据分析等领域中,HBM2 提供了极高的数据吞吐能力,可以有效缩短复杂运算所需时间,提高整体工作效率。 #### 2. 图形处理 对于游戏开发、虚拟现实 (VR) 及增强现实 (AR) 这类依赖于强大图像渲染能力的应用而言,HBM2 所具备的大容量缓存空间及其快速访问速度能够带来更加流畅自然的画面效果体验。 #### 3. 人工智能 特别是在深度学习与机器学习算法训练过程中需要用到大量矩阵乘法运算时,利用 HBM2 内存结构可显著加快模型收敛进度并减少能源消耗。 --- ```python # 示例代码展示如何模拟简单的内存分配逻辑 class MemorySimulator: def __init__(self, total_memory_size): self.total_memory_size = total_memory_size def allocate(self, size_required): if size_required <= self.total_memory_size: print(f"Allocated {size_required} MB of memory.") return True else: print("Insufficient memory available.") return False simulator = MemorySimulator(1024 * 8) # 假设总共有8GB内存 result = simulator.allocate(512) # 尝试分配512MB内存 ``` 上述 Python 示例展示了基本的内存管理概念,虽然简化了许多实际细节,但它可以帮助理解像 HBM2 这样的高级内存系统是如何工作的。 ---
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值