深度学习入门(五十)计算机视觉——转置卷积
前言
核心内容来自博客链接1博客连接2希望大家多多支持作者
本文记录用,防止遗忘
计算机视觉——转置卷积
课件(初见转置卷积)
1 转置卷积
- 卷积不会增大输入的高宽,通常要么不变、要么减半
- 转置卷积则可以用来增大输入高宽
2 为什么称之为“转置”
- 对于卷积
Y
=
X
★
W
Y=X★W
Y=X★W
·可以对 W W W构造一个 V V V,使得卷积等价于矩阵乘法 Y ′ = V X ′ Y' =VX' Y′=VX′
·这里 Y ′ , X ′ Y',X' Y′,X′是 Y , X Y,X Y,X对应的向量版本 - 转置卷积则等价于 Y = V T X ′ Y=V^TX' Y=VTX′
- 如果卷积将输入从
(
h
,
w
)
(h, w)
(h,w)变成了
(
h
′
,
w
′
)
(h', w')
(h′,w′)
·同样超参数的转置卷积则从 ( h ′ , w ′ ) (h', w') (h′,w′)变成 ( h , w ) (h, w) (h,w)
课件(再谈转置卷积)
1 转置卷积
转置卷积是—种卷积
- 它将输入和核进行了重新排列
- 同卷积一般是做下采样不同,它通常用作上采样
- 如果卷积将输入从(h, w)变成了(h’, w’),同样超参数下它将(h’, w’)变成(h, w)
2 重新排列输入和核
当填充为0步幅为1时
- 将输入填充k-1(k是核窗口)
- 将核矩阵上下、左右翻转
- 然后做正常卷积(填充0、步幅1)
当填充为p步幅为1时 - 将输入填充k-p-1(k是核窗口)
- 将核矩阵上下、左右翻转
- 然后做正常卷积(填充0、步幅1)
当填充为p步幅为s时 - 在行和列之间插入s -1行或列
- 将输入填充k-p-1(k是核窗口)
- 将核矩阵上下、左右翻转
- 然后做正常卷积(填充0、步幅1)
3 形状换算
- 输入高(宽)为n,核k,填充p,步幅s
- 转置卷积
n
′
=
s
n
+
k
−
2
p
−
s
n' = sn +k -2p -s
n′=sn+k−2p−s
·卷积: n ′ = ⌊ ( n − k + 2 p + s ) / s 」 → n ≥ s n ′ + k − 2 p − s n'=\lfloor(n -k +2p +s)/s 」 →n \geq sn'+k -2p-s n′=⌊(n−k+2p+s)/s」→n≥sn′+k−2p−s - 如果让高宽成倍增加,那么 k = 2 p + s k = 2p +s k=2p+s
4 同反卷积的关系
数学上的反卷积(deconvolution)是指卷积的逆运算
- 如果Y= conv(X,K),那么X = deconv(Y, K)
反卷积很少用在深度学习中
- 我们说的反卷积神经网络指用了转置卷积的神经网络
5 总结
- 转置卷积是一种变化了输入和核的卷积,来得到上采样的目的
- 不等同干数学上的反卷积操作
教材
到目前为止,我们所见到的卷积神经网络层,例如卷积层和池化层,通常会减少下采样输入图像的空间维度(高和宽)。 然而如果输入和输出图像的空间维度相同,在以像素级分类的语义分割中将会很方便。 例如,输出像素所处的通道维可以保有输入像素在同一位置上的分类结果。
为了实现这一点,尤其是在空间维度被卷积神经网络层缩小后,我们可以使用另一种类型的卷积神经网络层,它可以增加上采样中间层特征图的空间维度。 在本节中,我们将介绍转置卷积(transposed convolution)
, 用于逆转下采样导致的空间尺寸减小。
import torch
from torch import nn
from d2l import torch as d2l
1 基本操作
让我们暂时忽略通道,从基本的转置卷积开始,设步幅为1且没有填充。 假设我们有一个 n h × n w n_h \times n_w nh×nw的输入张量和一个 k h × k w k_h \times k_w kh×kw的卷积核。 以步幅为1滑动卷积核窗口,每行 n w n_w nw次,每列 n h n_h nh次,共产生 n h n w n_h n_w nhnw个中间结果。 每个中间结果都是一个 ( n h + k h − 1 ) × ( n w + k w − 1 ) (n_h + k_h - 1) \times (n_w + k_w - 1) (nh+kh−1)×(nw+kw−1)的张量,初始化为0。 为了计算每个中间张量,输入张量中的每个元素都要乘以卷积核,从而使所得的 k h × k w k_h \times k_w kh×kw张量替换中间张量的一部分。 请注意,每个中间张量被替换部分的位置与输入张量中元素的位置相对应。 最后,所有中间结果相加以获得最终结果。
例如, 下图解释了如何为
2
×
2
2\times 2
2×2的输入张量计算卷积核为
2
×
2
2\times 2
2×2的转置卷积。
我们可以对输入矩阵X和卷积核矩阵K实现基本的转置卷积运算trans_conv
。
def trans_conv(X, K):
h, w = K.shape
Y = torch.zeros((X.shape[0] + h - 1, X.shape[1] + w - 1))
for i in range(X.shape[0]):
for j in range(X.shape[1]):
Y[i: i + h, j: j + w] += X[i, j] * K
return Y
与通过卷积核“减少”输入元素的常规卷积相比,转置卷积通过卷积核“广播”输入元素,从而产生大于输入的输出。 我们可以通过上图来构建输入张量X和卷积核张量K从而验证上述实现输出。 此实现是基本的二维转置卷积运算。
X = torch.tensor([[0.0, 1.0], [2.0, 3.0]])
K = torch.tensor([[0.0, 1.0], [2.0, 3.0]])
trans_conv(X, K)
输出:
tensor([[ 0., 0., 1.],
[ 0., 4., 6.],
[ 4., 12., 9.]])
或者,当输入X和卷积核K都是四维张量时,我们可以使用高级API
获得相同的结果。
X, K = X.reshape(1, 1, 2, 2), K.reshape(1, 1, 2, 2)
tconv = nn.ConvTranspose2d(1, 1, kernel_size=2, bias=False)
tconv.weight.data = K
tconv(X)
输出:
tensor([[[[ 0., 0., 1.],
[ 0., 4., 6.],
[ 4., 12., 9.]]]], grad_fn=<ConvolutionBackward0>)
2 填充、步幅和多通道
与常规卷积不同,在转置卷积中,填充被应用于的输出(常规卷积将填充应用于输入)。 例如,当将高和宽两侧的填充数指定为1时,转置卷积的输出中将删除第一和最后的行与列。
tconv = nn.ConvTranspose2d(1, 1, kernel_size=2, padding=1, bias=False)
tconv.weight.data = K
tconv(X)
输出:
tensor([[[[4.]]]], grad_fn=<ConvolutionBackward0>)
在转置卷积中,步幅被指定为中间结果(输出),而不是输入。 使用上图中相同输入和卷积核张量,将步幅从1更改为2会增加中间张量的高和权重,因此输出张量如下。
以下代码可以验证步幅为2的转置卷积的输出
tconv = nn.ConvTranspose2d(1, 1, kernel_size=2, stride=2, bias=False)
tconv.weight.data = K
tconv(X)
输出:
tensor([[[[0., 0., 0., 1.],
[0., 0., 2., 3.],
[0., 2., 0., 3.],
[4., 6., 6., 9.]]]], grad_fn=<ConvolutionBackward0>)
对于多个输入和输出通道,转置卷积与常规卷积以相同方式运作。 假设输入有 c i c_i ci个通道,且转置卷积为每个输入通道分配了一个 k h × k w k_h\times k_w kh×kw的卷积核张量。 当指定多个输出通道时,每个输出通道将有一个 c i × k h × k w c_i\times k_h\times k_w ci×kh×kw的卷积核。
同样,如果我们将 X \mathsf{X} X代入卷积层 f f f来输出 Y = f ( X ) \mathsf{Y}=f(\mathsf{X}) Y=f(X),并创建一个与 f f f具有相同的超参数、但输出通道数量是 X \mathsf{X} X中通道数的转置卷积层 g g g,那么 g ( Y ) g(Y) g(Y)的形状将与 X \mathsf{X} X相同。 下面的示例可以解释这一点。
X = torch.rand(size=(1, 10, 16, 16))
conv = nn.Conv2d(10, 20, kernel_size=5, padding=2, stride=3)
tconv = nn.ConvTranspose2d(20, 10, kernel_size=5, padding=2, stride=3)
tconv(conv(X)).shape == X.shape
输出:
True
3 与矩阵变换的联系
转置卷积为何以矩阵变换命名呢? 让我们首先看看如何使用矩阵乘法来实现卷积。 在下面的示例中,我们定义了一个
3
×
3
3\times 3
3×3的输入X和
2
×
2
2\times 2
2×2卷积核K,然后使用corr2d
函数计算卷积输出Y。
X = torch.arange(9.0).reshape(3, 3)
K = torch.tensor([[1.0, 2.0], [3.0, 4.0]])
Y = d2l.corr2d(X, K)
Y
输出:
tensor([[27., 37.],
[57., 67.]])
接下来,我们将卷积核K重写为包含大量0的稀疏权重矩阵W。 权重矩阵的形状是(4,9),其中非0元素来自卷积核K
def kernel2matrix(K):
k, W = torch.zeros(5), torch.zeros((4, 9))
k[:2], k[3:5] = K[0, :], K[1, :]
W[0, :5], W[1, 1:6], W[2, 3:8], W[3, 4:] = k, k, k, k
return W
W = kernel2matrix(K)
W
输出:
tensor([[1., 2., 0., 3., 4., 0., 0., 0., 0.],
[0., 1., 2., 0., 3., 4., 0., 0., 0.],
[0., 0., 0., 1., 2., 0., 3., 4., 0.],
[0., 0., 0., 0., 1., 2., 0., 3., 4.]])
逐行连结输入X,获得了一个长度为9的矢量。 然后,W的矩阵乘法和向量化的X给出了一个长度为4的向量。 重塑它之后,可以获得与上面的原始卷积操作所得相同的结果Y:我们刚刚使用矩阵乘法实现了卷积。
Y == torch.matmul(W, X.reshape(-1)).reshape(2, 2)
输出
tensor([[True, True],
[True, True]])
同样,我们可以使用矩阵乘法来实现转置卷积。 在下面的示例中,我们将上面的常规卷积 2 × 2 2 \times 2 2×2的输出Y作为转置卷积的输入。 想要通过矩阵相乘来实现它,我们只需要将权重矩阵W的形状转置为 ( 9 , 4 ) (9, 4) (9,4)。
Z = trans_conv(Y, K)
Z == torch.matmul(W.T, Y.reshape(-1)).reshape(3, 3)
输出:
tensor([[True, True, True],
[True, True, True],
[True, True, True]])
抽象来看,给定输入向量 x \mathbf{x} x和权重矩阵 W \mathbf{W} W,卷积的前向传播函数可以通过将其输入与权重矩阵相乘并输出向量 y = W x \mathbf{y}=\mathbf{W}\mathbf{x} y=Wx来实现。 由于反向传播遵循链式法则和 ∇ x y = W ⊤ \nabla_{\mathbf{x}}\mathbf{y}=\mathbf{W}^\top ∇xy=W⊤,卷积的反向传播函数可以通过将其输入与转置的权重矩阵 W ⊤ \mathbf{W}^\top W⊤相乘来实现。 因此,转置卷积层能够交换卷积层的正向传播函数和反向传播函数:它的正向传播和反向传播函数将输入向量分别与 W ⊤ \mathbf{W}^\top W⊤和 W \mathbf{W} W相乘。
4 小结
-
与通过卷积核减少输入元素的常规卷积相反,转置卷积通过卷积核广播输入元素,从而产生形状大于输入的输出。
-
如果我们将 X \mathsf{X} X输入卷积层 f f f来获得输出 Y = f ( X ) \mathsf{Y}=f(\mathsf{X}) Y=f(X)并创造一个与 f f f有相同的超参数、但输出通道数是 X \mathsf{X} X中通道数的转置卷积层 g g g,那么 g ( Y ) g(Y) g(Y)的形状将与 X X X相同。
-
我们可以使用矩阵乘法来实现卷积。转置卷积层能够交换卷积层的正向传播函数和反向传播函数。