H2D和D2H表示GPU和CPU之间内存的拷贝操作:
-
H2D: Host to Device 的缩写,表示将内存从CPU(Host)拷贝到GPU device(设备)上。
-
D2H: Device to Host 的缩写,表示将内存从GPU device拷贝回CPU上。
在GPU计算中,数据需要在CPU和GPU之间传输,这就涉及到H2D和D2H的内存拷贝。
但CPU和GPU存在不同的内存空间,内存拷贝需要通过PCI-E总线,这是一个非常慢的操作。
频繁的H2D和D2H拷贝会成为GPU应用的瓶颈,因此需要尽量减少不必要的内存拷贝。
解决H2D/D2H拷贝问题的方法包括:
-
尽可能在GPU上完成所有的操作,减少CPU和GPU之间的交互。
-
尽量异步进行内存拷贝和计算操作,隐藏内存拷贝的时间开销。
-
将需要频繁访问的固定数据 maintains 在GPU显存上,避免重复拷贝。
-
批量处理数据,减少拷贝次数。
-
使用统一内存,让CPU和GPU访问同一块内存空间。