pytorch 反卷积 可视化_PyTorch中反卷积的用法

pytorch中的 2D 卷积层 和 2D 反卷积层 函数分别如下：

class torch.nn.Conv2d(in_channels, out_channels, kernel_size, stride=1, padding=0, groups=1, bias=True)

class torch.nn.ConvTranspose2d(in_channels, out_channels, kernel_size, stride=1, padding=0, output_padding=0, bias=True)

我不禁有疑问：

问题1： 两个函数的参数为什么几乎一致呢？

问题2： 反卷积层中的 output_padding是什么意思呢？

问题3： 反卷积层如何计算input和output的形状关系呢？

看了中文文档后，我得不出答案，看了英文文档，才弄明白了。花费了一个下午的时间去研究这个问题，值得用此文纪录一下。

我们知道，在卷积层中，输入输出的形状关系为：

o = [ (i + 2p - k)/s ] +1 (1)

其中：

O : 为 output size

i: 为 input size

p: 为 padding size

k: 为kernel size

s: 为 stride size

[] 为下取整运算

(1) 当 S=1 时

若 s等于1，则公式(1)中的取整符号消失，o 与 i 为 一一对应 的关系。 我们有结论：

如果卷积层函数和反卷积层函数的 kernel_size, padding size参数相同(且 stride= 1)，设反卷基层的输入输出形状为 i’ 和 o’, 卷积层的输入输出形状i和o, 则它们为 交叉对应 的关系，即：

i = o'

o = i'

为回答问题3, 我们将上述关系代入公式中，即：

i' = o' + 2p - k +1

已知 i’, 即可推出 o’:

o' = i' - 2p + k - 1 (2)

摘两个例子：

(2) 当 S>1 时

若 S>1 , 则公式(1)中的取整符号不能消去，o 与 i 为 多对1 的关系。 效仿 S=1时的情形, 我们有结论：

如果卷积层函数和反卷积层函数的 kernel_size, padding size参数相同(且 stride>1)，设反卷基层的输入输出形状为 i’ 和 o’, 卷积层的输入输出形状i和o,

i' = [ (o' + 2p - k)/s ] +1

已知 i’, 我们可以得出 s 个 o’ 解:

o'(0) = ( i' - 1) x s + k - 2p

o'(1) = o'(1) + 1

o'(2) = o'(1) + 2

...

o'(s-1) = o'(1) + s-1

即：

o'(n) =o'(1) + n = ( i' - 1) x s + k - 2p + n,

n = {0, 1, 2...s-1}

为了确定唯一的 o’ 解， 我们用反卷积层函数中的ouput padding参数指定公式中的 n 值。这样，我们就回答了问题(2)。

摘一个简单的例子：

(3) 实验验证

给出一小段测试代码，改变各个参数值，运行比较来验证上面得出的结论，have fun~.

from torch import nn

from torch.nn import init

from torch.autograd import Variable

dconv = nn.ConvTranspose2d(in_channels=1, out_channels= 1, kernel_size=2, stride=2, padding=1,output_padding=0, bias= False)

init.constant(dconv.weight, 1)

print(dconv.weight)

input = Variable(torch.ones(1, 1, 2, 2))

print(input)

print(dconv(input))

这里是第二篇，更容易懂的

反卷积(Deconvolution)的概念第一次出现是Zeiler在2010年发表的论文Deconvolutional networks中，但是并没有指定反卷积这个名字，反卷积这个术语正式的使用是在其之后的工作中(Adaptive deconvolutional networks for mid and high level feature learning)。随着反卷积在神经网络可视化上的成功应用，其被越来越多的工作所采纳比如：场景分割、生成模型等。其中反卷积(Deconvolution)也有很多其他的叫法，比如：Transposed Convolution，Fractional Strided Convolution等等。

这篇文章的目的主要有两方面：

解释卷积层和反卷积层之间的关系；

弄清楚反卷积层输入特征大小和输出特征大小之间的关系。

卷积层

卷积层大家应该都很熟悉了,为了方便说明，定义如下：

我们再把4×4的输入特征展成[16,1]的矩阵X ,那么Y = CX则是一个[4,1]的输出特征矩阵，把它重新排列2×2的输出特征就得到最终的结果，从上述分析可以看出卷积层的计算其实是可以转化成矩阵相乘的。值得注意的是，在一些深度学习网络的开源框架中并不是通过这种这个转换方法来计算卷积的，因为这个转换会存在很多无用的0乘操作，Caffe中具体实现卷积计算的方法可参考Implementing convolution as a matrix multiplication。

通过上述的分析，我们已经知道卷积层的前向操作可以表示为和矩阵C相乘，那么 我们很容易得到卷积层的反向传播就是和C的转置相乘。

反卷积和卷积的关系

Fractionally Strided Convolution

由上式可得，p=[s(i-1)+k-o]/2，然后向上取整， 由于向上取整了，所以最终的输出o‘可能还会小于我们要的输出o，则用out_padding = o - o’

最后给出torch.nn.ConvTranspose2d的参数

ConvTranspose2d(1, 3, kernel_size=(3, 3), stride=(2, 2), padding=(1, 1), output_padding=(1, 1))