个人学习笔记5-1：动手学深度学习pytorch版-李沐

#深度学习# #人工智能# #神经网络#

卷积神经网络（convolutional neural network，CNN）

6.1 从全连接层到卷积

6.1.1 不变性

1. 平移不变性（translation invariance）：不管检测对象出现在图像中的哪个位置，神经网络的前面几层应该对相同的图像区域具有相似的反应，即为“平移不变性”。(核不变）
2. 局部性（locality）：神经网络的前面几层应该只探索输入图像中的局部区域，而不过度在意图像中相隔较远区域的关系，这就是“局部性”原则。最终，可以聚合这些局部特征，以在整个图像级别进行预测。（核大小）

6.1.2 多层感知机的限制

重新考虑全连接层：其中从W到V的转换只是形式上的转换，因为在这两个四阶张量的元素之间存在一一对应的关系。我们只需重新索引下标(k, l)，使k = i + a、l = j + b。

两个原则应用：

6.1.3 卷积

简单记录：

        卷积层将输入和核矩阵进行交叉相关,加上偏移后得到输出；核矩阵和偏移是可学习的参数；核矩阵的大小是超参数。

6.2 图像卷积

6.2.1 互相关运算

#导入相关工具包
import torch
from torch import nn
from d2l import torch as d2l

#定义二维互相关运算函数，X是输入，k是核矩阵
def corr2d(X, K):  #@save
    """计算二维互相关运算"""
    h, w = K.shape
    Y = torch.zeros((X.shape[0] - h + 1, X.shape[1] - w + 1))#输出的形状
    for i in range(Y.shape[0]):
        for j in range(Y.shape[1]):
            Y[i, j] = (X[i:i + h, j:j + w] * K).sum()
    return Y

#验证
#设置输入张量
X = torch.tensor([[0.0, 1.0, 2.0], [3.0, 4.0, 5.0], [6.0, 7.0, 8.0]])
#设置卷积核
K = torch.tensor([[0.0, 1.0], [2.0, 3.0]])
#应用互相关运算函数
corr2d(X, K)

结果输出：

6.2.2 卷积层

卷积层对输入和卷积核权重进行互相关运算，并在添加标量偏置之后产生输出。所以，卷积层中的两个被训练的参数是卷积核权重和标量偏置。基于上面定义的corr2d函数实现二维卷积层。在__init__构造函数中，将weight和bias声明为两个模型参数。前向传播函数调用corr2d函数并添加偏置。

class Conv2D(nn.Module):
    def __init__(self, kernel_size):
        super().__init__()
        self.weight = nn.Parameter(torch.rand(kernel_size))
        self.bias = nn.Parameter(torch.zeros(1))

    def forward(self, x):
        return corr2d(x, self.weight) + self.bias

高度和宽度分别为h和w的卷积核可以被称为h × w卷积或h × w卷积核。我们也将带有h × w卷积核的卷积层称为h × w卷积层。

6.2.3 图像中目标的边缘检测

通过找到像素变化的位置，来检测图像中不同颜色的边缘。首先，我们构造一个6 × 8像素的黑白图像。中间四列为黑色（0），其余像素为白色（1）。

X = torch.ones((6, 8))
X[:, 2:6] = 0
X

构造一个高度为1、宽度为2的卷积核K。当进行互相关运算时，如果水平相邻的两元素相同，则输出为零，否则输出为非零。并对参数X（输入）和K（卷积核）执行互相关运算

K = torch.tensor([[1.0, -1.0]])

Y = corr2d(X, K)
Y

结果输出：

        输出Y中的1代表从白色到黑色的边缘，‐1代表从黑色到白色的边缘，其他情况的输出为0。

接下来，将输入的二维图像转置，再进行如上的互相关运算。其输出如下，之前检测到的垂直边缘消失了。不出所料，这个卷积核K只可以检测垂直边缘，无法检测水平边缘。

corr2d(X.t(), K)

结果输出：

6.2.4 学习卷积核

先构造一个卷积层，并将其卷积核初始化为随机张量。接下来，在每次迭代中，我们比较Y与卷积层输出的平方误差，然后计算梯度来更新卷积核。为了简单起见，我们在此使用内置的二维卷积层，并忽略偏置。

# 构造一个二维卷积层，它具有1个输出通道和形状为（1，2）的卷积核
conv2d = nn.Conv2d(1,1, kernel_size=(1, 2), bias=False)

# 这个二维卷积层使用四维输入和输出格式（批量大小、通道、高度、宽度），
# 其中批量大小和通道数都为1
X = X.reshape((1, 1, 6, 8))
Y = Y.reshape((1, 1, 6, 7))
lr = 3e-2  # 学习率

for i in range(20):
    Y_hat = conv2d(X)
    l = (Y_hat - Y) ** 2
    conv2d.zero_grad()
    l.sum().backward()
    # 迭代卷积核
    conv2d.weight.data[:] -= lr * conv2d.weight.grad#梯度下降计算
    if (i + 1) % 2 == 0:#每2轮，打印一次
        print(f'epoch {i+1}, loss {l.sum():.3f}')

输出结果：

打印卷积核的权重张量：

conv2d.weight.data.reshape((1, 2))

结果输出：

结论：学习到的卷积核权重非常接近我们之前定义的卷积核K

6.2.5 互相关和卷积-6.2.6 特征映射和感受野

        输出的卷积层有时被称为特征映射（feature map），因为它可以被视为一个输入映射到下一层的空间维度的转换器。在卷积神经网络中，对于某一层的任意元素x，其感受野（receptive field）是指在前向传播期间可能影响x计算的所有元素（来自所有先前层）。请注意，感受野可能大于输入的实际大小。当一个特征图中的任意元素需要检测更广区域的输入特征时，我们可以构建一个更深的网络。

6.3 填充和步幅

例子：一个240 × 240像素的图像，经过10层5 × 5的卷积后，将减少到200 × 200像素。如此一
来，原始图像的边界丢失了许多有用信息。而填充是解决此问题最有效的方法；有时，我们可能希望大幅降低图像的宽度和高度。或者原始的输入分辨率十分冗余。步幅则可以在这类情况下提供帮助。

6.3.1 填充（padding）

填充（padding）：在输入图像的边界填充元素（通常填充元素是0）。

下图红色框代表原始输入，外围一圈代表填充：

    

        使用奇数的核大小和填充大小也提供了书写上的便利。对于任何二维张量X，当满足：1. 卷积核的大小是奇数；2. 所有边的填充行数和列数相同；3. 输出与输入具有相同高度和宽度则可以得出：输出Y[i, j]是通过以输入X[i, j]为中心，与卷积核进行互相关计算得到的。

        创建一个高度和宽度为3的二维卷积层，并在所有侧边填充1个像素。给定高度和宽度为8的输入，则输出的高度和宽度也是8。

例子：创建一个高度和宽度为3的二维卷积层，并在所有侧边填充1个像素。给定高度和宽度为8的输入，则输出的高度和宽度也是8。

import torch
from torch import nn


# 为了方便起见，我们定义了一个计算卷积层的函数。
# 此函数初始化卷积层权重，并对输入和输出提高和缩减相应的维数
def comp_conv2d(conv2d, X):
    # 这里的（1，1）表示批量大小和通道数都是1
    X = X.reshape((1, 1) + X.shape)
    Y = conv2d(X)
    # 省略前两个维度：批量大小和通道
    return Y.reshape(Y.shape[2:])

# 请注意，这里每边都填充了1行或1列，因此总共添加了2行或2列
conv2d = nn.Conv2d(1, 1, kernel_size=3, padding=1)
X = torch.rand(size=(8, 8))
comp_conv2d(conv2d, X).shape

结果输出：

使用高度为5，宽度为3的卷积核，高度和宽度两边的填充分别为2和1：

conv2d = nn.Conv2d(1, 1, kernel_size=(5, 3), padding=(2, 1))
comp_conv2d(conv2d, X).shape

结果输出：

6.3.2 步幅

在计算互相关时，卷积窗口从输入张量的左上角开始，向下、向右滑动。默认每次滑动一个元素。但是，有时候为了高效计算或是缩减采样次数，卷积窗口可以跳过中间位置，每次滑动多个元素。将每次滑动元素的数量称为步幅（stride）。步幅是指行/列的滑动步长。

例子：将高度和宽度的步幅设置为2，从而将输入的高度和宽度减半。

conv2d = nn.Conv2d(1, 1, kernel_size=3, padding=1, stride=2)
comp_conv2d(conv2d, X).shape

结果输出：

稍微复杂的例子：

conv2d = nn.Conv2d(1, 1, kernel_size=(3, 5), padding=(0, 1), stride=(3, 4))
comp_conv2d(conv2d, X).shape

结果输出：