目录
我们的电脑
CPU分别连接主内存和GPU,CPU之间可以通信。
CPU组成
该CPU有四个核心(core),左侧为CPU继承的GPU,右侧是连接其他硬件的通道,中间为三级显存(SharedLLC)。
提升CPU利用率
计算a+b(a、b均为向量),ab均在主内存中。要进行计算,首先需要将数据进行移动:L3->L2->L1->寄存器。从三级内存逐级到寄存器(每个CPU有一定数量寄存器)。数据只有进入寄存器才可以进行运算。L1存在访问延时:0.5ns,L2访问延时:7ns,主内存访问延时:100ns。
提升CPU利用率需要提升空间和时间的内存本地性。时间:重复数据使得他们保存在缓存中。空间:按序读写数据使得可以预读取。
除此之外,还可以增加CPU核心数或并行利用所有核(超线程)
样例分析
如果一个矩阵按行存储,访问一行会比访问一列更快。CPU一次读取64字节且会提前读取下一个缓存线。
GPU组成
每个绿点为一个计算单元可以开一个线程, 黄色部分为一个大计算核心。每个GPU基本有几千个核心(绿色单元)。
GPU需要有较大的内存带宽,可以更快地读取和写入数据到其内存中。GPU的内存大小较小,控制流较弱。
提升GPU利用率
并行:使用上千个线程。
内存本地性:缓存较小,架构更加简单。
少用控制语句:gpu支持有限,同步开销大。
CPU/GPU带宽
CPU和内存间通信的内存带宽较大。
不要频繁的在CPU和GPU间搬运数据,带宽较小具有一定限制同时具有同步开销。
CPU/GPU高性能计算编程
CPU:C++或其他高性能语言->编译器成熟
GPU:CUDA->编译器和驱动成熟、其他用OpenCL->质量取决于硬件厂商
总结
CPU可以处理通用计算。性能优化考虑数据读写效率和多线程。
GPU使用更多的小核和更好的内存带宽,适合大规模并行的计算任务。