GEMM矩阵相乘与深度学习

1. GEMM矩阵相乘

1.1 GEMM算法基础

  GEMM（General Matrix Multiplication），通用矩阵乘法。

则根据矩阵相乘的定义，可得C=AB+C的计算公式为：

从而可实现为：

for i=0:m-1
    for j=0:n-1
        for p=0:k-1
            C(i,j):=A(i,p)*B(p,j)+C(i,j)
        endfor
    endfor
endfor

  可以看出，根据定义实现的算法计算复杂度为O(mnk)，也就是O(n^3)。

1.2 GEMM算法优化

1.2.1 循环重排充分利用缓存

  应该首先注意到我们访问数据的模式。我们按照下图A的形式逐行遍历数据，按照下图B的形式逐列遍历数据。

  它们的存储也是行优先的，因此一旦我们找到 A[i, k]，则它在该行中的下一个元素A[i, k+1]已经被缓存了。接下来我们来看B中发生了什么：

  列的下一个元素并未出现在缓存中，即出现了缓存缺失（cache miss）。这时尽管获取到了数据，CPU也出现了一次停顿。获取数据后，缓存同时也被 B 中同一行的其他元素填满。我们实际上并不会使用到它们，因此它们很快就会被删除。多次迭代后，当我们需要那些元素时，我们将再次获取它们。我们在用实际上不需要的值污染缓存。