卷积神经网络 - 图像卷积

图像卷积

由于卷积神经网络的设计是用于探索图像数，本节我们将以图像为例

1 - 互相关运算

import torch
from torch import nn
from d2l import torch as d2l

def corr2d(X,K):
    """计算二维互相关运算"""
    h,w = K.shape
    Y = torch.zeros((X.shape[0] - h + 1,X.shape[1] - w + 1))
    for i in range(Y.shape[0]):
        for j in range(Y.shape[1]):
            Y[i,j] = (X[i:i + h,j:j + w] * K).sum()
    return Y

通过图6.2.1的输入张量X和卷积核张量K，我们来验证上述二维互相关运算的输出

X = torch.tensor([[0.0,1.0,2.0],[3.0,4.0,5.0],[6.0,7.0,8.0]])
K = torch.tensor([[0.0,1.0],[2.0,3.0]])
corr2d(X,K)

tensor([[19., 25.],
        [37., 43.]])

2 - 卷积层

卷积层对输入和卷积核权重进行互相关运算，并在添加标量偏置之后产生输出。所以，卷积层中的两个被训练的参数是卷积核权重核标量偏置。就像我们之前随机初始化全连接层一样，在训练基于卷积层的模型时，我也随机初始化卷积核权重

基于上面定义的corr2d函数实现二维卷积层，在__init__构造函数中，将weight和bias声明为两个模型参数。前向传播函数调用corr2d函数并添加偏置

class Conv2D(nn.Module):
    def __init__(self,kernel_size):
        super().__init__()
        self.weight = nn.Parameter(torch.rand(kernel_size))
        self.bias = nn.Parameter(torch,zeros(1))
        
    def forward(self,x):
        return corr2d(x,self.weight) + self.bias

高度和宽度分别为h和w的卷积核可以被称为$h\ast w$卷积或$h\ast w$卷积核。我们也将带有$h\ast w$卷积核的卷积层称为$h\ast w$卷积层

3 - 图像中目标的边缘检测

如下时卷积层的一个简单应用：通过找到像素变化的位置，来检测图像中不同颜色的边缘。首先，我们构造一个$6\ast 8$像素的黑白图像，中间四列为黑色(0)，其余像素为白色(1)

X = torch.ones((6,8))
X[:,2:6] = 0
X

tensor([[1., 1., 0., 0., 0., 0., 1., 1.],
        [1., 1., 0., 0., 0., 0., 1., 1.],
        [1., 1., 0., 0., 0., 0., 1., 1.],
        [1., 1., 0., 0., 0., 0., 1., 1.],
        [1., 1., 0., 0., 0., 0., 1., 1.],
        [1., 1., 0., 0., 0., 0., 1., 1.]])

接下来，我们构造一个高度为1，宽度为2的卷积核K。当进行互相关运算时，若水平相邻的两元素相同，则输出为零，否则输出为非零

K = torch.tensor([[1.0,-1.0]])

现在，我们对参数X（输入）和K（卷积核）执行互相关运算。如下所示，输出Y中的1代表从白色到黑色的边缘，-1代表从黑色到白色的边缘，其他情况的输出为0

Y = corr2d(X,K)
Y

tensor([[ 0.,  1.,  0.,  0.,  0., -1.,  0.],
        [ 0.,  1.,  0.,  0.,  0., -1.,  0.],
        [ 0.,  1.,  0.,  0.,  0., -1.,  0.],
        [ 0.,  1.,  0.,  0.,  0., -1.,  0.],
        [ 0.,  1.,  0.,  0.,  0., -1.,  0.],
        [ 0.,  1.,  0.,  0.,  0., -1.,  0.]])

现在我们将输入的二维图像转置，再进行如上的互相关运算，其输出如下，之前检测到的垂直边缘消失了，不出所料，这个卷积核K只可以检测垂直边缘，无法检测水平边缘

corr2d(X.t(),K)

tensor([[0., 0., 0., 0., 0.],
        [0., 0., 0., 0., 0.],
        [0., 0., 0., 0., 0.],
        [0., 0., 0., 0., 0.],
        [0., 0., 0., 0., 0.],
        [0., 0., 0., 0., 0.],
        [0., 0., 0., 0., 0.],
        [0., 0., 0., 0., 0.]])

4 - 学习卷积核

如果我们只需寻找黑白边缘，那么以上[-1,1]的边缘检测器足以。然而，当有了更复杂数值的卷积核，或者连续的卷积层时，我们不可能手动设计滤波器。那么我们是否可以学习由X生成Y的卷积核呢？

现通过仅查看“输入 输出”对来学习由X生成Y的卷积核。我们现构造一个卷积层，并将其卷积核初始化为随机张量。接下来，在每次迭代中，我们比较Y与卷积层输出的平方误差，然后计算梯度来更新卷积核。为了简单期间，我们在此使用内置的二维卷积层，并忽略偏置

# 构造一个二维卷积层，它具有1个输出通道核形状为（1，2）的卷积核
conv2d = nn.Conv2d(1,1,kernel_size=(1,2),bias=False)

# 这个二维卷积层使用四维输入核输出格式（批量大小、通道、高度、宽度），其中批量大小、通道数都为1
X = X.reshape((1,1,6,8))
Y = Y.reshape((1,1,6,7))

lr = 3e-2 # 学习率

for i in range(10):
    Y_hat = conv2d(X)
    l = (Y_hat - Y) ** 2
    conv2d.zero_grad()
    l.sum().backward()
    # 迭代卷积核
    conv2d.weight.data[:] -= lr * conv2d.weight.grad
    if (i + 1) % 2 == 0:
        print(f'epoch {i + 1},loss {l.sum():.3f}')

epoch 2,loss 4.032
epoch 4,loss 0.881
epoch 6,loss 0.231
epoch 8,loss 0.073
epoch 10,loss 0.026

在10次迭代之后，误差已经降到⾜够低。现在我们来看看我们所学的卷积核的权重张量

conv2d.weight.data.reshape((1, 2))

tensor([[ 0.9748, -1.0066]])

细⼼的你⼀定会发现，我们学习到的卷积核权重⾮常接近我们之前定义的卷积核K

5 - 互相关和卷积

回想⼀下我们在 6.1节中观察到的互相关和卷积运算之间的对应关系。为了得到正式的卷积运算输出，我们需要执⾏ (6.1.6)中定义的严格卷积运算，⽽不是互相关运算。幸运的是，它们差别不⼤，我们只需⽔平和垂直翻转⼆维卷积核张量，然后对输⼊张量执⾏互相关运算

值得注意的是，由于卷积核是从数据中学习到的，因此⽆论这些层执⾏严格的卷积运算还是互相关运算，卷积层的输出都不会受到影响。为了说明这⼀点，假设卷积层执⾏互相关运算并学习 图6.2.1中的卷积核，该卷积核在这⾥由矩阵K表⽰。假设其他条件不变，当这个层执⾏严格的卷积时，学习的卷积核K′在⽔平和垂直翻转之后将与K相同。也就是说，当卷积层对 图6.2.1中的输⼊和K′执⾏严格卷积运算时，将得到与互相关运算 图6.2.1中相同的输出

为了与深度学习⽂献中的标准术语保持⼀致，我们将继续把“互相关运算”称为卷积运算，尽管严格地说，它们略有不同。此外，对于卷积核张量上的权重，我们称其为元素

6 - 特征映射和感受野

7 - 小结

• ⼆维卷积层的核⼼计算是⼆维互相关运算。最简单的形式是，对⼆维输⼊数据和卷积核执⾏互相关操作，然后添加⼀个偏置
• 我们可以设计⼀个卷积核来检测图像的边缘
• 我们可以从数据中学习卷积核的参数
• 学习卷积核时，无论用严格卷积运算或互相关运算，卷积层的输出不会受太大影响
• 当需要检测输入特征中更广区域时，我们可以构建一个更深的卷积网络