View convolution and transpose convolution as matrix multiplication (卷积与转置卷积的矩阵表示)

 

主流深度学习软件在进行卷积操作的时候并不是采用我们非常熟悉但是效率底下的双重循环算法，而是将卷积操作转化为一个由卷积核导出的稀疏矩阵与拉伸成一维影像向量的矩阵乘积，只有这样，才可以充分利用GPU并行计算所带来的收益。（图1）

从图1中可以看出，将卷积运算转化为矩阵乘积运算时，卷积核所导出的矩阵是一个双重块状toeplitz矩阵，称为卷积矩阵。卷积矩阵之所以叫双重块状toeplitz矩阵，是因为组成该矩阵的每一个分块矩阵都是toeplitz矩阵，且如果将每一个分块矩阵看做一个“元素”，那么由分块矩阵元素组成的大矩阵也是一个toeplitz矩阵。这样，如果我们将影像按照行拉伸成一维向量，按照矩阵乘法就可以发现，卷积核与原始影像的卷积就是卷积矩阵与拉伸影像的乘积的拉伸。在对结果进行reshape之后，就得到卷积之后的二维影像。

以上过程定义的卷积称为正常的卷积。正常卷积之所以正常，是因为定义输入影像的维度大于输出影像的维度。这也是最直观的结果，因为在valid卷积的情况下，只有卷积核完全覆盖原始图像的地方才能执行卷积的操作，因此必然会导致影像大小的缩小。图1.定义的正常卷积利用2x2卷积核将一个3x3的影像卷积为2x2的矩阵结果。在执行该卷积时将2x2的卷积核改写成一个4x9的双重toeplitz矩阵，而影像可以拉伸成一个9x1的向量，这样，用4x9的卷积矩阵去乘一个9x1的影像向量就得到一个4x1的结果影像的拉伸，然后将这个拉伸的影像重新排列成2x2的矩阵就是卷积的结果，而且这个结果与直接将2x2的卷积