现代卷积网络实战系列2：PyTorch构建训练函数、LeNet网络

机器学习杨卓越

已于 2023-09-26 16:12:20 修改

阅读量387

点赞数 1

分类专栏：现代卷积网络实战文章标签：人工智能深度学习现代卷积神经网络 LeNet MNIST数据集图像识别计算机视觉

于 2023-09-22 16:12:06 首次发布

本文链接：https://blog.csdn.net/weixin_50592077/article/details/133175045

版权

现代卷积网络实战专栏收录该内容

7 篇文章 0 订阅

订阅专栏

🌈🌈🌈现代卷积网络实战系列总目录

本篇文章的代码运行界面均在Pycharm中进行
本篇文章配套的代码资源已经上传

1、MNIST数据集处理、加载、网络初始化、测试函数
2、训练函数、PyTorch构建LeNet网络
3、PyTorch从零构建AlexNet训练MNIST数据集
4、PyTorch从零构建VGGNet训练MNIST数据集
5、PyTorch从零构建GoogLeNet训练MNIST数据集
6、PyTorch从零构建ResNet训练MNIST数据集

4、训练函数

4.1 调用训练函数

train(epochs, net, train_loader, device, optimizer, test_loader, true_value)

因为每一个epoch训练结束后，我们需要测试一下这个网络的性能，所有会在训练函数中频繁调用测试函数，所有测试函数中所有需要的参数，训练函数都需要
这七个参数，是训练一个神经网络所需要的最少参数

4.2 训练函数

训练函数中，所有训练集进行多次迭代，而每次迭代又会将数据分成多个批次进行迭代

def train(epochs, net, train_loader, device, optimizer, test_loader, true_value):
    for epoch in range(1, epochs + 1):
        net.train()
        all_train_loss = []
        for batch_idx, (data, target) in enumerate(train_loader):
            data = data.to(device)
            target = target.to(device)
            optimizer.zero_grad()
            output = net(data)
            loss = F.cross_entropy(output, target)
            loss.backward()
            optimizer.step()
            cur_train_loss = loss.item()
            all_train_loss.append(cur_train_loss)
        train_loss = np.round(np.mean(all_train_loss) * 1000, 2)
        print('\nepoch step:', epoch)
        print('training loss: ', train_loss)
        test(net, test_loader, device, true_value, epoch)
    print("\nTraining finished")

定义训练函数
安装epochs迭代数据
进入pytorch的训练模式
all_train_loss 存放训练集5万张图片的损失值
按照batch取数据
数据进入GPU
标签进入GPU
梯度清零
当前batch进入网络后得到输出
根据输出得到当前损失
反向传播
梯度下降
获取损失的损失值（PyTorch框架中的数据）
把当前batch的损失加入all_train_loss数组中，结束batch的迭代
将5张图片的损失计算出来并且进行求平均，这里乘以1000是因为我觉得计算出的损失太小了，所以乘以1000，方便看损失的变化，保留两位有效数字
打印当前epoch
打印损失
调用测试函数，测试当前训练的网络的性能，结束epoch的迭代
打印训练完成

5、LeNet

向传播来优化学习策略，而是采用的无监督学习的方案，这其实限制了Neocognitron模型。反向传播算法于1974年哈佛大学的 Paul Werbos 提出，并由LeCun于1989将反向传播算法引入了卷积神经网络并且用于手写数字识别任务上，这个就是LeNet-1，通过几年的迭代，LeNet在1998的手写体数字识别任务上取得了很大的成功，这个版本的LeNet就是著名的LeNet-5。为什么LeNet-5这么被广泛使用呢？因为LeNet-5在美国被大规模用于自动对银行支票上的手写数字进行分类。在LeNet之前，字符识别主要是通过手工特征工程来完成特征提取，然后利用机器学习模型来学习手工特征进行分类。因此，特征工程就是一个很大的问题，究竟什么样的特征是需要的特征呢？LeNet-5可以自己学习图像的特征，这就意味着，网络模型自己学习特征成为可能，手工提取特征将成为过去式。卷积还可以被看作是“滑动平均”的推广。

5.1 网络结构

LeNet可以说是首次提出卷积神经网络的模型
主要包含下面的网络层：

5*5的二维卷积
sigmoid激活函数（这里使用了relu）
5*5的二维卷积
sigmoid激活函数
数据一维化
全连接层
全连接层
softmax分类器

将网络结构打印出来：

LeNet(
-------(conv1): Conv2d(1, 10, kernel_size=(5, 5), stride=(1, 1))
-------(conv2): Conv2d(10, 20, kernel_size=(5, 5), stride=(1, 1))
-------(conv2_drop): Dropout2d(p=0.5, inplace=False)
-------(fc1): Linear(in_features=320, out_features=50, bias=True)
-------(fc2): Linear(in_features=50, out_features=10, bias=True)
)

5.2 PyTorch构建LeNet

class LeNet(nn.Module):
    def __init__(self, num_classes):
        super(LeNet, self).__init__()
        self.conv1 = nn.Conv2d(1, 10, kernel_size=5)
        self.conv2 = nn.Conv2d(10, 20, kernel_size=5)
        self.conv2_drop = nn.Dropout2d()
        self.fc1 = nn.Linear(320, 50)
        self.fc2 = nn.Linear(50, num_classes)

    def forward(self, x):
        x = F.relu(F.max_pool2d(self.conv1(x), 2))
        x = F.relu(F.max_pool2d(self.conv2_drop(self.conv2(x)), 2))
        x = x.view(-1, 320)
        x = F.relu(self.fc1(x))
        x = F.dropout(x, training=self.training)
        x = self.fc2(x)
        return F.log_softmax(x, dim=1)