pytorch学习——卷积神经网络——以LeNet为例

一只小百里

已于 2023-08-03 20:14:46 修改

阅读量1.2k

点赞数 1

分类专栏：深度学习 pytorch 文章标签： pytorch 深度学习人工智能 cnn 学习

于 2023-08-03 20:11:21 首次发布

本文链接：https://blog.csdn.net/weixin_48637535/article/details/132090243

版权

深度学习同时被 2 个专栏收录

14 篇文章 1 订阅

订阅专栏

pytorch

10 篇文章 0 订阅

订阅专栏

填充是指在输入数据周围添加额外的边界值（通常是零），以扩展输入的尺寸。填充可以在卷积操作中起到两个主要的作用：

一.什么是卷积？

当我们谈论"卷积"时，通常指的是数学中的卷积运算。在卷积神经网络中，卷积操作是一种数学运算，用于处理图像和其他具有网格结构的数据。

可以将卷积操作想象为两个函数之间的一种运算。首先，我们有一个输入函数（比如图像），它表示为一个矩阵或张量。然后，我们有另一个函数（称为卷积核或滤波器），它也是一个矩阵或张量。

卷积操作的核心思想是将卷积核与输入函数的局部区域进行逐元素的乘法，并将乘积结果相加，从而得到输出函数的对应位置的值。这个过程可以通过滑动卷积核的方式在输入函数上进行。具体来说，卷积核从输入函数的左上角开始，按照一定的步长（stride）在输入函数上滑动，每次都与输入函数的一个局部区域进行逐元素的乘法并求和，得到输出函数的一个元素。

实现示例中的卷积运算：

import torch
from torch import nn
from d2l import torch as d2l

def corr2d(X, K):  #@save
    """计算二维互相关运算"""
    h, w = K.shape
    Y = torch.zeros((X.shape[0] - h + 1, X.shape[1] - w + 1))
    for i in range(Y.shape[0]):
        for j in range(Y.shape[1]):
            Y[i, j] = (X[i:i + h, j:j + w] * K).sum()
    return Y
X = torch.tensor([[0.0, 1.0, 2.0], [3.0, 4.0, 5.0], [6.0, 7.0, 8.0]])
K = torch.tensor([[0.0, 1.0], [2.0, 3.0]])
corr2d(X, K)

#结果
tensor([[19., 25.],
        [37., 43.]])

通过卷积操作，我们可以提取输入函数中的特征。卷积核中的权重决定了它对输入函数的不同局部模式的响应程度。例如，在图像处理中，卷积核可以检测边缘、纹理和其他图像特征。通过在网络中学习这些卷积核的权重，网络可以自动发现和提取图像中的有用特征。

二.卷积神经网络的组成

一个完整的卷积神经网络（Convolutional Neural Network，CNN）通常由以下几个主要组件组成：

输入层（Input Layer）：接收原始输入数据（例如图像）的层。输入层的尺寸和通道数与输入数据的特征维度相对应。
卷积层（Convolutional Layer）：卷积层是CNN的核心组件。它由一系列卷积核（滤波器）组成，每个卷积核负责检测输入特征中的某种局部模式。卷积层通过卷积操作提取输入数据的特征，并生成一系列特征图。
激活函数层（Activation Layer）：在卷积层后面通常会应用激活函数，如ReLU（修正线性单元），以引入非线性特性。激活函数层对每个特征图上的每个元素进行逐元素的非线性变换。
池化层（Pooling Layer）：池化层用于减小特征图的空间尺寸，并保留重要的特征。常见的池化操作包括最大池化和平均池化，通过降低空间分辨率来减少参数数量和计算量。
全连接层（Fully Connected Layer）：全连接层将前面的卷积层和池化层的输出转换为分类或回归所需的向量形式。每个神经元与上一层的所有神经元相连接，通过学习权重和偏置来进行特征组合和分类。
输出层（Output Layer）：输出层根据具体任务的需求确定，可以是用于分类的softmax层，用于回归的线性层，或者其他适当的激活函数层。

除了上述主要组件之外，卷积神经网络还可能包含其他一些辅助层或技术：

批归一化层（Batch Normalization Layer）：用于在网络的训练过程中对每个小批量样本进行归一化，加速收敛并提高鲁棒性。
Dropout层：通过随机将一部分神经元的输出置零来减少过拟合。
损失函数（Loss Function）：用于衡量网络输出与真实标签之间的差异，根据具体任务选择适当的损失函数。
优化器（Optimizer）：用于更新网络中的权重和偏置，以最小化损失函数。常见的优化算法包括随机梯度下降（SGD）、Adam、RMSProp等。

这些组件和技术的组合形成了一个完整的卷积神经网络，能够对输入数据进行特征提取、分类、回归等任务，并在训练过程中通过反向传播算法进行参数优化。网络的具体架构和层数可以根据任务的复杂性和数据集的特点进行设计和调整。

三.卷积网络基本元素介绍

3.1卷积

见上

3.2填充和步幅

3.2.1填充（Padding）

填充是指在输入数据周围添加额外的边界值（通常是零），以扩展输入的尺寸。填充可以在卷积操作中起到两个主要的作用：

保持特征图尺寸：卷积操作会导致特征图尺寸减小，通过填充可以控制特征图的大小，使其与输入大小相匹配。这对于在网络层之间传递信息和保持空间分辨率很重要。
边缘信息保留：填充可以防止边缘信息的丢失。在没有填充的情况下，边缘像素只能通过较少的卷积操作进行处理，导致边缘信息在特征图中逐渐减少。通过填充，可以保留更多的边缘信息。

3.2.2步幅（Stride）

步幅是指卷积核在输入数据上滑动的步长。通常，步幅的值是正整数。较大的步幅会导致特征图尺寸减小，因为卷积核在输入上移动的距离增加了。步幅的作用主要体现在两个方面：

特征图尺寸控制：通过调整步幅的大小，可以控制特征图的尺寸。较大的步幅可以减小特征图的尺寸，而较小的步幅可以保持更多的空间信息。
特征提取的多尺度：较大的步幅可以在输入数据的不同位置上进行特征提取，从而捕捉到不同尺度的特征。这对于处理具有不同大小目标的图像很有用。

3.3多输入通道

当输入包含多个通道时，需要构造一个与输入数据具有相同输入通道数的卷积核，以便与输入数据进行互相关运算。

下图中演示了一个具有两个输入通道的二维互相关运算的示例。阴影部分是第一个输出元素以及用于计算这个输出的输入和核张量元素：(1×1+2×2+4×3+5×4)+(0×0+1×1+3×2+4×3)=56。

参考：6.4. 多输入多输出通道 — 动手学深度学习 2.0.0 documentation

3.4池化层

与卷积层类似，池化层运算符由一个固定形状的窗口组成，该窗口根据其步幅大小在输入的所有区域上滑动，为固定形状窗口（有时称为汇聚窗口）遍历的每个位置计算一个输出。然而，不同于卷积层中的输入与卷积核之间的互相关计算，池化层不包含参数。相反，池运算是确定性的，我们通常计算汇聚窗口中所有元素的最大值或平均值。这些操作分别称为最大池化层（maximum pooling）和平均池化层（average pooling）。

四.LeNet

LeNet——最早的卷积神经网络，总体来看，LeNet（LeNet-5）由两个部分组成：

卷积编码器：由两个卷积层组成;
全连接层密集块：由三个全连接层组成。

LeNet架构图：

每个卷积块中的基本单元是一个卷积层、一个sigmoid激活函数和平均汇聚层。请注意，虽然ReLU和最大汇聚层更有效，但它们在20世纪90年代还没有出现。每个卷积层使用5×5卷积核和一个sigmoid激活函数。这些层将输入映射到多个二维特征输出，通常同时增加通道的数量。第一卷积层有6个输出通道，而第二个卷积层有16个输出通道。每个2×2池操作（步幅2）通过空间下采样将维数减少4倍。卷积的输出形状由批量大小、通道数、高度、宽度决定。

为了将卷积块的输出传递给稠密块，我们必须在小批量中展平每个样本。换言之，我们将这个四维输入转换成全连接层所期望的二维输入。这里的二维表示的第一个维度索引小批量中的样本，第二个维度给出每个样本的平面向量表示。LeNet的稠密块有三个全连接层，分别有120、84和10个输出。因为我们在执行分类任务，所以输出层的10维对应于最后输出结果的数量。

import torch
from torch import nn
from d2l import torch as d2l

# 定义卷积神经网络
net = nn.Sequential(
    nn.Conv2d(1, 6, kernel_size=5, padding=2), nn.Sigmoid(),  # 第一层卷积层
    nn.AvgPool2d(kernel_size=2, stride=2),  # 第一层池化层
    nn.Conv2d(6, 16, kernel_size=5), nn.Sigmoid(),  # 第二层卷积层
    nn.AvgPool2d(kernel_size=2, stride=2),  # 第二层池化层
    nn.Flatten(),  # 展平操作，将多维输入转换为一维向量
    nn.Linear(16 * 5 * 5, 120), nn.Sigmoid(),  # 全连接层1
    nn.Linear(120, 84), nn.Sigmoid(),  # 全连接层2
    nn.Linear(84, 10)  # 输出层，输出类别的数量为10
)

以下是一段检查神经网络每个层形状的代码，可用于快速纠错

X = torch.rand(size=(1, 1, 28, 28), dtype=torch.float32)
for layer in net:
    X = layer(X)
    print(layer.__class__.__name__,'output shape: \t',X.shape)
#结果
Conv2d output shape:         torch.Size([1, 6, 28, 28])
Sigmoid output shape:        torch.Size([1, 6, 28, 28])
AvgPool2d output shape:      torch.Size([1, 6, 14, 14])
Conv2d output shape:         torch.Size([1, 16, 10, 10])
Sigmoid output shape:        torch.Size([1, 16, 10, 10])
AvgPool2d output shape:      torch.Size([1, 16, 5, 5])
Flatten output shape:        torch.Size([1, 400])
Linear output shape:         torch.Size([1, 120])
Sigmoid output shape:        torch.Size([1, 120])
Linear output shape:         torch.Size([1, 84])
Sigmoid output shape:        torch.Size([1, 84])
Linear output shape:         torch.Size([1, 10])

具体代码实现：6.6. 卷积神经网络（LeNet） — 动手学深度学习 2.0.0 documentation