矩阵乘法性能
如果使用numpy,可能是在使用某个BLAS库作为计算后端,例如ATLAS、OpenBLAS、MKL等。当使用最快的MKL时,可以在此处找到最近的性能基准,介于最近的Nvidia GPU K40m和英特尔至强12核E5-2697 v2@2.70GHz之间
其中K40m比12螺纹E5-2697快6倍。考虑到MKL在多核CPU上具有良好的扩展性。K40m比1螺纹E5-2697快约72倍。请注意,1000 dim几乎是充分利用GPU和CPU的下限。较小的矩阵大小通常会导致GPU上的性能下降。
如果您正在为numpy使用较慢的BLAS后端,那么说GNU许可的ATLAS。你可以在这里找到MKL和ATLAS的比较
其中MKL比ATLAS快2~4倍。
对于Nvidia gpu来说,唯一广泛使用的后端是CUDA的cuBLAS,所以性能不会像ATLAS和MKL那样有太大的变化。
数据传输
正如@janbrohl所说,主机RAM和GPU设备存储器之间的数据传输是影响整体性能的一个重要因素。这是数据传输速度的基准。
给定矩阵大小,实际上可以分别计算出计算和数据传输的绝对时间。这些可以帮助您更好地评估性能。
为了最大限度地提高GPU的性能,您可能需要重新设计程序,通过将所有的计算操作移到GPU而不是仅仅矩阵乘法来最小化数据传输。