- 转置卷积、反卷积和上采样的关系,名称由来、数学解释
- 反卷积输入输出尺寸关系
- 棋盘格现象
上采样(upsample):
在深度学习中的计算机视觉领域,由于使用卷积层对图像提取特征以后,输出图像的尺寸往往会变小,而有时我们需要得到一个和原来图像尺寸相同的输出结果以便进行下一步的计算。这个扩大图像尺寸,实现图像由小分辨率到大分辨率映射的操作,叫做上采样。
反卷积(deconvolution):
上采样有很多种方法可以实现,最常见的3种有:双线性插值(bilinear)、反卷积(deconvolution)和反池化(unpooling)。这里的反卷积就是我们重点讨论的操作,它也可以叫做转置卷积。
注意:
反卷积并不是正向卷积的逆过程,它只是针对图像尺寸而言:正向卷积一般情况下会让图像的尺寸由大变小,而反卷积则相反,会让图像尺寸由小变大,即和原图像相同的尺寸。
正向卷积
假设输入图像 i n p u t input input尺寸为 4 × 4 4\times 4 4×4,元素矩阵为:
[ x 1 x 2 x 3 x 4 x 5 x 6 x 7 x 8 x 9 x 10 x 11 x 12 x 13 x 14 x 15 x 16 ] \begin{bmatrix} x_1 & x_2 & x_3 & x_4 \\ x_5 & x_6 & x_7 & x_8 \\ x_9 & x_{10} & x_{11} & x_{12} \\ x_{13} & x_{14} & x_{15} & x_{16} \\ \end{bmatrix} ⎣⎢⎢⎡x1x5x9x13x2x6x10x14x3x7x11x15x4x8x12x16⎦⎥⎥⎤
卷积核 k e r n e l kernel kernel尺寸为 3 × 3 3\times 3 3×3,元素矩阵为:
[ w 0 , 0 w 0 , 1 w 0 , 2 w 1 , 0 w 1 , 1 w 1 , 2 w 2 , 0 w 2 , 1 w 2 , 2 ] \begin{bmatrix} w_{0,0} & w_{0,1} & w_{0,2}\\ w_{1,0} & w_{1,1} & w_{1,2}\\ w_{2,0} & w_{2,1} & w_{2,2}\\ \end{bmatrix} ⎣⎡w0,0w1,0w