Pytorch中的转置卷积

转置卷积(Transposed Convolution)

又称为反卷积。

torch.nn.ConvTranspose2d(in_channels, out_channels, kernel_size, stride=1, padding=0, output_padding=0, groups=1, bias=True, dilation=1, padding_mode='zeros')

输出大小计算

先说结论
$$o^{\prime }=(i^{\prime }-1)s+k-2p+p^{\prime }$$
$p^{\prime }$是output_padding，后面一直是在分析这个式子是怎么来的。
注：当有空洞卷积时，k=dilation[0]×(kernel_size[0]−1)+1

起点

首先回顾正常的卷积计算公式
$$o=\lfloor \frac{i-k+2p}{s}\rfloor +1$$
其中，$i$表示输入大小，$o$表示输出大小，$k$表示卷积核大小，$p$表示pading，$s$表示卷积步长。正常来说，$i>=o$

反卷积的输入$i^{\prime }$输出$o^{\prime }$，而此时$i^{\prime }<=o^{\prime }$。（毕竟我们的目的是放大图像。）带入上式得到以下，我们需要根据下面式子，反推出$o^{\prime }$。

$$i^{\prime }=\lfloor \frac{o^{\prime }-k+2p}{s}\rfloor +1$$

麻烦的是向下取整，所以分类讨论：

可以整除

即当$(o^{\prime }-k+2p)\%s=0$时，上式变为，
$$i^{\prime }=\frac{o^{\prime }-k+2p}{s}+1$$
此时反卷积的输入$i^{\prime }$输出$o^{\prime }$可以一一对应。
$$o^{\prime }=(i^{\prime }-1)s+k-2p$$

代码验证

>>> x = torch.ones([1,10,5,5])
>>> a2 = torch.nn.ConvTranspose2d(in_channels=10,
                              out_channels=10,
                              kernel_size=3,
                              stride=2,
                              padding=0,
                              output_padding=0)
>>> y = a2(x)
>>> print(y.shape)

torch.Size([1, 10, 11, 11])

也就是当$i^{\prime }=5，k=3，s=2，p=0$时，$o^{\prime }=11$。

不可以整除

即当$(o^{\prime }-k+2p)\%s\ne 0$时，向下取整不能去掉时。我们减去一部分，让它能取整。我们定义$p^{\prime }=(o^{\prime }-k+2p)\%s$，也就是output_padding

$$\begin{array}{rl}{i}^{\prime }& =\frac{o^{\prime }-k+2p-(o^{\prime }-k+2p)\%s}{s}+1\\ & =\frac{o^{\prime }-k+2p-p^{\prime }}{s}+1\end{array}$$
反推得到$$o^{\prime }=(i^{\prime }-1)s+k-2p+p^{\prime }$$

代码验证

>>> x = torch.ones([1,10,4,4])
>>> a2 = torch.nn.ConvTranspose2d(in_channels=10,
                              out_channels=10,
                              kernel_size=3,
                              stride=2,
                              padding=0,
                              output_padding=1
                              )
>>> y = a2(x)
>>> print(y.shape)

torch.Size([1, 10, 10, 10])

也就是当$i^{\prime }=4，k=3，s=2，p=0，p^{\prime }=1$时，$o^{\prime }=10$。

回过头来说，这样直接减去一项合理吗？看着不合理，其实很合理。毕竟标准卷积也是向下取整。而这里只是取下界：

综合起来

前面一直是反推反推，还得考虑是否整除。难道你还让计算机挨个去世吗？显然不是，计算机知道的只是下面这个式子，
$$o^{\prime }=(i^{\prime }-1)s+k-2p+p^{\prime }$$
等式右边的参数全都可以控制输入，也就是控制了输出。前文只不过是对这个式子的理解，当$p^{\prime }=0$是整除情况，当$p^{\prime }\ne 0$是不可整除情况。

参考文献

1. https://www.cnblogs.com/kk17/p/10111768.html
2. https://www.zhihu.com/question/48279880
3. https://pytorch.org/docs/1.4.0/nn.html?highlight=torch%20nn%20convtranspose2d#torch.nn.ConvTranspose2d