关于转置卷积的一点理解

转置卷积也称为反卷积。对普通卷积，假设特征图是$\mathbf{x}$，在给定$kernel\_size$，$padding$，$stride$后卷积得到特征图$\mathbf{y}$，那么转置卷积就是希望从$\mathbf{y}$得到$\mathbf{x}$，也就是找到一个$\mathbf{x}$使它在给定的卷积参数设置下卷积后得到$\mathbf{y}$，当然这里只要求形状上的相等。

转置卷积具体是这样实现的，首先将$\mathbf{y}$每两个像素之间插入$kernel\_size-1$个0，这里以高度为例，那么
$$\mathbf{y}.h^{\prime }=\mathbf{y}.h+(kernel\_size-1)\ast (\mathbf{y}.h-1)\text{\hspace{1em}(1)}$$
之后以$strid{e}^{\prime }=1$，$paddin{g}^{\prime }=kernel\_size-padding-1$，$kernel\_siz{e}^{\prime }=kernel\_size$进行卷积，可以验证，此时的输出为
$$\begin{array}{rl}\mathbf{y}.h_{out}& =\frac{\mathbf{y}.h^{\prime }+2\ast paddin{g}^{\prime }-kernel\_siz{e}^{\prime }}{strid{e}^{\prime }}+1\\ & =(\mathbf{y}.h-1)\ast stride-2\ast padding+kernel\_size\end{array}\text{\hspace{1em}(2)}$$
在普通卷积时
$$\mathbf{y}.h_{out}=\frac{\mathbf{y}.h+2\ast padding-kernel\_size}{stride}+1\text{\hspace{1em}(3)}$$
那么反求出$\mathbf{y}.h$，有
$$\mathbf{y}.h=(\mathbf{y}.h_{out}-1)\ast stride-2\ast padding+kernel\_size\text{\hspace{1em}(4)}$$
这跟公式$(2)$正好对应，即我们从$\mathbf{y}$得到了$\mathbf{x}$。但在实际操作时是这样的吗？

卷积时剩余的像素高度如果小于$stride$，那么这些像素会被舍弃，也就是公式$(3)$的的除法是向下取整，假设我们舍弃了高度为$p$的像素$p>0$，即
$$(\mathbf{y}.h+2\ast padding-kernel\_size)\%stride=p\text{\hspace{1em}(5)}$$
显然$p<stride$，那么我们实际上是相当于在一个高度为$\mathbf{y}.h-p$的图片上做卷积，反过来，我们做转置卷积得到的高度也是$\mathbf{y}.h-p$，比原始图片矮了$p$个像素。

这个问题该怎么解决呢？这就需要用到$output\_padding$这个参数，它会在转置卷积得到的特征图上补充$output\_padding$层像素，因此令$output\_padding=p$就能解决问题。