转置卷积transpose convolution

参考：

A guide to convolution arithmetic for deep learning.(Vincent Dumoulin, Francesco Visin).[https://arxiv.org/abs/1603.07285]

中文：https://zhuanlan.zhihu.com/p/48501100

 

1概念

转置卷积就是用卷积矩阵的转置矩阵进行卷积。

转置卷积可以将与卷积输出形状相同的矩阵变换为与卷积输入相同的矩阵，即完成形状的反向运算，因此也被称为反卷积(Deconvolution)。但是仅仅能恢复形状，不能恢复数据，因此一般不建议叫做反卷积。

卷积常常实现图像size的减少，例如/2,/4等，而反卷积可以实现图像size的增加，例如/0.5,/0.25,因此也被称为分数卷积（Fractionally-strided Convolution）。

由于上述性质，转置卷积常常用于实现上采样功能，也用于反向传播的误差梯度回传。

 

为了说清楚转置卷积，先看一下卷积。

2卷积

2.1二维运算

图示

s=1,p=0为例。

2.2代数表示

为了少敲点字符，我们把输入和kernel改小点，如下：

卷积可表示为：

将二维输入展开成一维向量（im2col操作），写成矩阵形式：

可见，二维卷积可以看作权重窗在一维向量上滑窗。也可以看作是系数有0的全连接。

 

2.3权重矩阵

定义权重矩阵如下：

卷积运算可以写做：

注意这个式子是不可以逆运算的。也就是说：

，不成立

已知和，是无法求出