转置卷积理解

参考资料：

https://www.cnblogs.com/shine-lee/p/11559825.html

转置卷积（transposed convolution）是一种上采样的方法。对于语义分割等问题，需要输入与输出保持相同的大小，因此需要在提取特征减小特征图大小后通过上采样的方法还原成输入的大小。

在计算机视觉当中，图像的上采样有许多方法：最近邻插值、双线性插值等。但是这些方法都是人为提前设计好了的固定模式，没有可以学习的余地。转置卷积可以通过学习参数来进行上采样。

1、卷积

卷积在没有padding的情况下会减小输入的大小。卷积可以写成矩阵乘法的形式：

例：输入为3x3：
$$X=\left[\begin{array}{ccc}{x}_{11}& x_{12}& x_{13}\\ x_{21}& x_{22}& x_{23}\\ x_{31}& x_{32}& x_{33}\end{array}\right]$$
卷积核为：
$$w=\left[\begin{array}{cc}{w}_{11}& w_{12}\\ w_{21}& w_{22}\end{array}\right]$$
输出为：
$$y=\left[\begin{array}{cc}{y}_{11}& y_{12}\\ y_{21}& y_{22}\end{array}\right]$$
如果将输入X拉成一个 $9\times 1$ 的向量，将输出y拉成一个 $4\times 1$ 的向量。
$$X={\left[\begin{array}{ccccccccc}{x}_{11}& x_{12}& x_{13}& x_{21}& x_{22}& x_{23}& x_{31}& x_{32}& x_{33}\end{array}\right]}^T$$

$$y={\left[\begin{array}{cccc}{y}_{11}& y_{12}& y_{21}& y_{22}\end{array}\right]}^T$$

则卷积可以写为
$$C=\left[\begin{array}{ccccccccc}{w}_{11}& w_{12}& 0& w_{21}& w_{22}& 0& 0& 0& 0\\ 0& w_{11}& w_{12}& 0& w_{21}& w_{22}& 0& 0& 0\\ 0& 0& 0& w_{11}& w_{12}& 0& w_{21}& w_{22}& 0\\ 0& 0& 0& 0& w_{11}& w_{12}& 0& w_{21}& w_{22}\end{array}\right]$$

$$y=CX$$

其中 $C_{ij}=0$ 代表向量形式的 $x_j$ 和 $y_i$ 没有连接关系。例如 $C_{13}=0$ 表示 $x_{13}$ 和 $y_{11}$ 没有连接关系。

2、转置卷积

以上是将一个长度为9的向量映射成为了一个长度为4的向量。如果想要反过来将一个长度为4的向量映射成为一个长度为9的向量，并且保持连接关系不变。那么就可以通过转置卷积实现这种映射：
$$X=C^{T}y$$

$$\left[\begin{array}{cccc}{w}_{11}& 0& 0& 0\\ w_{12}& w_{11}& 0& 0\\ 0& w_{12}& 0& 0\\ w_{21}& 0& w_{11}& 0\\ w_{22}& w_{21}& w_{12}& w_{11}\\ 0& w_{22}& 0& w_{12}\\ 0& 0& w_{21}& 0\\ 0& 0& w_{22}& w_{21}\\ 0& 0& 0& w_{22}\end{array}\right]{\left[\begin{array}{c}{y}_{11}\\ y_{12}\\ y_{21}\\ y_{22}\end{array}\right]}^T$$
以上操作中，$C_{i,j}^T=0$ 代表 $x_i$ 和 $y_j$ 没有连接关系。例如 $C_{12}=0$ 表示映射得到的 $x_{11}$ 和 $y_{12}$ 没有连接关系（即 $y_{12}$ 对映射得到 $x_{11}$ 没有贡献）。可以看到 $y_{11}$ 同时参与了 $x_{11}$ $x_{12}$ $x_{21}$ $x_{22}$ 的映射，这种连接关系就是和之前卷积是一样的。

注意这里的 X 和 y 都只是表达形状，里面的数值不同于刚才的 X 和 y

这个操作就等价于将输出y 进行 $1\times 1$ 的padding，原卷积核做中心对称之后，二者进行普通的卷积操作得到。
$$y=\left[\begin{array}{cccc}0& 0& 0& 0\\ 0& y_{11}& y_{12}& 0\\ 0& y_{21}& y_{22}& 0\\ 0& 0& 0& 0\end{array}\right]$$

$$w=\left[\begin{array}{cc}{w}_{22}& w_{21}\\ w_{12}& w_{11}\end{array}\right]$$

transposed convolution和convolution的参数有无相关性取决于其应用场景：

• 在特征可视化（ZFNet）、训练阶段的反向传播中的转置卷积的参数与卷积共享（中心对称）
• 在图像分割、生成模型中的转置卷积中的参数都要通过学习获得。

3、转置卷积计算

对于卷积，有如下公式：
$$out=\frac{in-k+2p}{s}+1$$
若要用 $in$ 求得 $out$，则要分为式中的分式能不能整除的两种情况。

整除情况

将上式变形得到
$$in=k-2p+(out-1)s$$

变成卷积公式的形式
$$in=\frac{out+(out-1)(s-1)-k+2(k-p-1)}{1}+1$$
令 $i{n}^{\prime }=out+(out-1)(s-1)$，$k^{\prime }=k$，$s^{\prime }=1$，$p^{\prime }=k-p-1$ 。上式即变成标准卷积的公式
$$ou{t}^{\prime }=\frac{i{n}^{\prime }-k+2p^{\prime }}{s^{\prime }}+1$$
转置卷积使用的超参数可以理解如下：

• $i{n}^{\prime }=out+(out-1)(s-1)$：原来卷积的输出大小为 $out\times out$ ，那么行和列方向的间隔就为 $out-1$ 。就相当于在输出 $out$ 的基础上，在其每个间隔插入了 $s-1$ 个0，整体作为转置卷积的输入特征图进行计算。

• $p^{\prime }=k-p-1$：对于padding，有三种情况：

  • FULL Padding：$p=k-1$ ，则 $p^{\prime }=0$ ，对应VALID Padding，即不进行填充
  • SAME Padding：$p=\frac{k-1}{2}$ ，则 $p^{\prime }=\frac{k-1}{2}$ ，同样对应SAME Padding
  • VALID Padding：$p=0$ ，则 $p^{\prime }=k-1$ ，对应FULL Padding

• $k^{\prime }=k$：转置卷积和卷积使用的核形状相同

• $s^{\prime }=1$：转置卷积的 stride 为1

不整除

则原有卷积公式变为
$$out=\frac{in-k+2p}{s}+1+\left[\left(in-k+2p\right)\mathrm{m}\mathrm{o}\mathrm{d}s\right]$$
将 $\left(in-k+2p\right)\mathrm{m}\mathrm{o}\mathrm{d}s$ 记为 $a$，则有
$$out=\frac{in-k+2p}{s}+1+a$$

$$ou{t}^{\prime }=\frac{i{n}^{\prime }-k+2p^{\prime }+a}{s^{\prime }}+1$$

所以，在转置卷积的输入特征图的右边和下边添加a行和a列填充再进行卷积即可。至于为什么是右边和下边，可以举个简单的例子

输入特征图大小为 $4\times 4$，用 $kernel=3\times 3$ ，$stide=2$ ，$padding=0$ 的卷积核卷积
$$input=\left[\begin{array}{cccc}{i}_{11}& i_{12}& i_{13}& i_{14}\\ i_{21}& i_{22}& i_{23}& i_{24}\\ i_{31}& i_{32}& i_{33}& i_{34}\\ i_{41}& i_{42}& i_{43}& i_{44}\end{array}\right]$$

$$w=\left[\begin{array}{ccc}{w}_{11}& w_{12}& w_{13}\\ w_{21}& w_{22}& w_{23}\\ w_{31}& w_{32}& w_{33}\end{array}\right]$$

这时候不能整除，因此输出特征图为 $1\times 1$ 的，实际上输入特征图的最右边一列和最下边一行并没有参与生成输入特征图。因此在不能整除的情况下，转置卷积在最右边和最下边补0可以保证之前的连接关系不变。

Pytorch实验

输入和卷积核都是 $2\times 2$ 的张量
$$\left[\begin{array}{cc}0& 1\\ 2& 3\end{array}\right]$$

import torch
x = torch.tensor([0.0,1.0,2.0,3.0]).reshape(1,1,2,2)
k = torch.tensor([0.0,1.0,2.0,3.0]).reshape(1,1,2,2)
tconv = torch.nn.ConvTranspose2d(1,1,kernel_size=(3,3),bias=False)
tconv.weight.data = k #实际卷积的时候要将k进行中心对称
Y = tconv(x)
print(Y)

输出：

tensor([[[[ 0.,  0.,  1.],
          [ 0.,  4.,  6.],
          [ 4., 12.,  9.]]]], grad_fn=<SlowConvTranspose2DBackward0>)