模型优化系列2：分类器ArcLoss使用Pytorch实现MNIST分类图示

最新推荐文章于 2024-05-17 10:23:04 发布
最新推荐文章于 2024-05-17 10:23:04 发布
阅读量367 收藏 7
点赞数 4
分类专栏： 模型优化 文章标签： pytorch 分类 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44240478/article/details/137456689
版权

ArcLoss实现

以MNIST数据集为例

前言

尝试了很多版本，目前没有找到一个适合CIFAR10数据集的网络模型0.0

V0

网络结构

self.hidden_layer = nn.Sequential(
    ConvLayer(1, 16, 3, 1, 0),
    nn.MaxPool2d(2),
    ConvLayer(16, 32, 3, 1, 0),
    ConvLayer(32, 64, 3, 1, 0),
    ConvLayer(64, 128, 3, 1, 0),
    ConvLayer(128, 256, 3, 1, 0),
)

self.fc = nn.Sequential(
    nn.Linear(256 * 5 * 5, 2)
)

参数

data_loader = DataLoader(dataset=mnist_data, shuffle=True, batch_size=256)
opt_net = torch.optim.Adam(net.parameters())
opt_arc = torch.optim.Adam(arc.parameters())

效果

image.png
训练到中途，数据不稳定
image.png
训练100次，无法进一步划分类别
image.png

结论

类别无法完全分开，训练到中途，数据图形爆炸

V1

增加网络深度

网络结构

self.hidden_layer = nn.Sequential(
    ConvLayer(1, 32, 5, 1, 2),
    ConvLayer(32, 64, 5, 1, 2),
    nn.MaxPool2d(2, 2),
    ConvLayer(64, 128, 5, 1, 2),
    ConvLayer(128, 256, 5, 1, 2),
    nn.MaxPool2d(2, 2),
    ConvLayer(256, 512, 5, 1, 2),
    ConvLayer(512, 512, 5, 1, 2),
    nn.MaxPool2d(2, 2),
    ConvLayer(512, 256, 5, 1, 2),
    ConvLayer(256, 128, 5, 1, 2),
    ConvLayer(128, 64, 5, 1, 2),
    nn.MaxPool2d(2, 2)
)

self.fc = nn.Sequential(
    nn.Linear(64, 2)
)

参数

data_loader = DataLoader(dataset=mnist_data, shuffle=True, batch_size=256)
opt_net = torch.optim.Adam(net.parameters())
opt_arc = torch.optim.Adam(arc.parameters())

效果

image.png
image.png

结论

持续十多轮，无法进一步减少损失，尝试更换优化器，实现降低损失

V1.1（最佳）

V1基础上调整优化器Adam–>SGD，其余条件不变

参数

data_loader = DataLoader(dataset=mnist_data, shuffle=True, batch_size=256)
opt_net = torch.optim.SGD(net.parameters(), lr=0.001, momentum=0.9)
scheduler = torch.optim.lr_scheduler.StepLR(opt_net, 20, gamma=0.8)
opt_arc = torch.optim.SGD(arc.parameters(), lr=0.5)

效果

image.png
image.png

结论

分类效果明显，训练速度减慢，SGD优化器在合适的参数下，比Adam分类效果更好

V1.1.2（佳）

V1.1基础上减少网络宽度，其余条件不变

网络结构

self.hidden_layer = nn.Sequential(
    ConvLayer(1, 32, 5, 1, 2),
    ConvLayer(32, 32, 5, 1, 2),
    nn.MaxPool2d(2, 2),
    ConvLayer(32, 64, 5, 1, 2),
    ConvLayer(64, 64, 5, 1, 2),
    nn.MaxPool2d(2, 2),
    ConvLayer(64, 128, 5, 1, 2),
    ConvLayer(128, 128, 5, 1, 2),
    nn.MaxPool2d(2, 2),
    ConvLayer(128, 256, 5, 1, 2),
    ConvLayer(256, 128, 5, 1, 2),
    ConvLayer(128, 64, 5, 1, 2),
    nn.MaxPool2d(2, 2)
)

self.fc = nn.Sequential(
    nn.Linear(64, 2)
)

效果

image.png
image.png

结论

分类明显，宽度减少，收敛速度较慢

V1.1.3

V1.1.2基础上，网络全连接改为卷积，其余条件不变

网络结构

self.hidden_layer = nn.Sequential(
    ConvLayer(1, 32, 5, 1, 2),
    ConvLayer(32, 32, 5, 1, 2),
    nn.MaxPool2d(2, 2),
    ConvLayer(32, 64, 5, 1, 2),
    ConvLayer(64, 64, 5, 1, 2),
    nn.MaxPool2d(2, 2),
    ConvLayer(64, 128, 5, 1, 2),
    ConvLayer(128, 128, 5, 1, 2),
    nn.MaxPool2d(2, 2),
    ConvLayer(128, 256, 5, 1, 2),
    ConvLayer(256, 128, 5, 1, 2),
    ConvLayer(128, 64, 5, 1, 2),
    nn.MaxPool2d(2, 2)
)

self.fc = nn.Sequential(
    # nn.Linear(64, 2)
    nn.Conv2d(64, 2, 5, 1, 2)
)

效果

image.png
image.png

结论

存在重合类别，效果没有全连接好

V1.1.4

V1.1基础上，修改学习率

参数

data_loader = DataLoader(dataset=mnist_data, shuffle=True, batch_size=256)
opt_net = torch.optim.SGD(net.parameters(), lr=0.01, momentum=0.9)
scheduler = torch.optim.lr_scheduler.StepLR(opt_net, 20, gamma=0.8)
opt_arc = torch.optim.SGD(arc.parameters(), lr=0.5)

效果

image.png
image.png

结论

类别存在重合

V1.2

V1.1基础上减少网络层数，其余条件不变

网络结构

self.hidden_layer = nn.Sequential(
    ConvLayer(1, 32, 3, 1, 1),
    ConvLayer(32, 64, 3, 1, 2),
    nn.MaxPool2d(2, 2),
    ConvLayer(64, 128, 3, 1, 1),
    ConvLayer(128, 256, 3, 1, 2),
    nn.MaxPool2d(2, 2),
    ConvLayer(256, 256, 3, 1, 1),
    ConvLayer(256, 128, 3, 1, 2),
    nn.MaxPool2d(2, 2)
)

self.fc = nn.Sequential(
    nn.Linear(128 * 5 * 5, 2)
)

效果

image.png

结论

训练速度较快，分类收敛速度不如较深层的网络结构，类别存在重合

V1.2.2

相比V1.2条件，更换网络宽度，减少参数

网络结构

self.hidden_layer = nn.Sequential(
    ConvLayer(1, 32, 5, 1, 2),
    ConvLayer(32, 32, 5, 1, 2),
    nn.MaxPool2d(2, 2),
    ConvLayer(32, 64, 5, 1, 2),
    ConvLayer(64, 64, 5, 1, 2),
    nn.MaxPool2d(2, 2),
    ConvLayer(64, 128, 5, 1, 2),
    ConvLayer(128, 128, 5, 1, 2),
    nn.MaxPool2d(2, 2)
)

self.fc = nn.Sequential(
    nn.Linear(128 * 3 * 3, 2)
)

效果

image.png
image.png

结论

类别存在重合

V1.2.3（佳）

V1.2.2基础上，修改网络学习率

参数

data_loader = DataLoader(dataset=mnist_data, shuffle=True, batch_size=256)
opt_net = torch.optim.SGD(net.parameters(), lr=0.01, momentum=0.9)
scheduler = torch.optim.lr_scheduler.StepLR(opt_net, 20, gamma=0.8)
opt_arc = torch.optim.SGD(arc.parameters(), lr=0.5)

效果

image.png
image.png

结论

分类明显，收敛较快

V1.2.4

V1.2.3基础上，修改批次

参数

data_loader = DataLoader(dataset=mnist_data, shuffle=True, batch_size=512)
opt_net = torch.optim.SGD(net.parameters(), lr=0.01, momentum=0.9)
scheduler = torch.optim.lr_scheduler.StepLR(opt_net, 20, gamma=0.8)
opt_arc = torch.optim.SGD(arc.parameters(), lr=0.5)

效果

image.png
image.png

结论

批次256–>512，类别存在重合

V2

相比V1条件，更换网络，加深深度，减少宽度，其余条件不变

网络结构

self.hidden_layer = nn.Sequential(
    ConvLayer(1, 32, 5, 1, 2),
    ConvLayer(32, 32, 5, 1, 2),
    nn.MaxPool2d(2, 2),
    ConvLayer(32, 32, 5, 1, 2),
    ConvLayer(32, 32, 5, 1, 2),
    nn.MaxPool2d(2, 2),
    ConvLayer(32, 32, 5, 1, 2),
    ConvLayer(32, 32, 5, 1, 2),
    ConvLayer(32, 32, 5, 1, 2),
    nn.MaxPool2d(2, 2),
    ConvLayer(32, 32, 5, 1, 2),
    ConvLayer(32, 32, 5, 1, 2),
    ConvLayer(32, 32, 5, 1, 2),
    nn.MaxPool2d(2, 2)
)

self.fc = nn.Sequential(
    nn.Linear(32, 2)
)

效果

image.png
image.png

结论

分类存在重合

V2.1

V2基础上，修改学习率

参数

data_loader = DataLoader(dataset=mnist_data, shuffle=True, batch_size=256)
opt_net = torch.optim.SGD(net.parameters(), lr=0.01, momentum=0.9)
scheduler = torch.optim.lr_scheduler.StepLR(opt_net, 20, gamma=0.8)
opt_arc = torch.optim.SGD(arc.parameters(), lr=0.5)

效果

image.png
image.png

结论

类别存在重合

饭碗、碗碗香
关注
  • 4
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
PyTorch学习笔记之模型构建和模型初始化
laffycat的博客
07-23 549
本文主要介绍模型构建，包括卷积层、池化层、正则化层、激活函数、全连接层等内容，还有模型初始化的相关内容
pytorch实现mnist分类的示例讲解
01-20
torchvision包 包含了目前流行的数据集，模型结构和常用的图片转换工具。 torchvision.datasets中包含了以下数据集 MNIST COCO（用于图像标注和目标检测）(Captioning and Detection) LSUN Classification ...
模型优化系列1：分类器CenterLoss使用Pytorch实现MNIST、CIFAR10、CIFAR100分类图示
一只努力学习的小碗~
04-01 1116
使用Pytorch实现centerloss在数据集（MNIST、CIFAR10、CIFAR100）上的分类效果
初学pytorch之MNIST数据集
lichengjie1的博客
07-05 349
MNIST神经网络实现步骤1.加载必要的库2.定义超参数3.构建transforms，主要对图像进行变换4.下载、加载数据集5.构建网络模型6.定义优化器7.定义训练的函数8.定义测试方法9.调用方法总结 1.加载必要的库 代码如下： import torch import torch.nn as nn # nn 作为一个代号 import torch.nn.functional as F # F 也作为一个代号 import torch.optim as optim #导入优化器opt
PyTorch示例——MLP图像分类-手写数字
蒋含竹的博客
02-17 1276
【代码】PyTorch示例-MLP图像分类-手写数字。
手把手实战PyTorch手写数据集MNIST识别项目全流程
m0_58092763的博客
07-06 4747
手把手实战PyTorch手写数据集MNIST识别项目全流程 MNIST手写数据集是跑深度学习模型中很基础的、几乎所有初学者都会用到的数据集，认真领悟手写数据集的识别过程对于深度学习框架有着弥足重要的意义。然而目前各类文章中关于项目完全实战的记录较少，无法满足广大初学者的要求，故本文受B站Tommy启发来手把手从引入库开始进行对整个手写数据集识别的流程，这对于笔者以后的深度学习有着很大的必要性。...
002-基于Pytorch的手写汉字数字分类
ahhjian的专栏
03-25 292
本节将介绍一个简单而典型的基于Pytorch框架的图像分类任务，所用的数据集是手写体汉字数字，模型是LeNet-5。通过该实例的学习，可以了解基于深度网络模型的计算机视觉任务的基本流程。
【Pytorch+torchvision】MNIST手写数字识别
S0ybean的博客
08-08 663
入手深度学习的第一个项目
【Pytorch Lighting】第 4 章：Lightning Flash 中的即食模型
sikh_0529的博客
11-06 734
构建() 模型通常涉及从该领域的顶尖研究论文中重新创建现有架构或实验。例如，的获奖() 架构计算机视觉挑战。许多数据科学家已经为他们的业务应用程序重新创建了该架构，或者基于它构建了更新更好的算法。在进行自己的实验之前，对数据重复使用现有实验是一种常见的做法。这样做通常涉及阅读原始研究论文以对其进行编码，或者访问作者的 GitHub 页面以了解什么是什么，这都是耗时的选择。如果 DL 中最流行的架构和实验可以很容易地用于执行各种常见的 DL 任务作为框架的一部分呢？认识 PyTorch Lighting！
【DL-图像分类】
斯基的朦胧
04-20 2529
图像分类一、卷积神经网络基础1、卷积神经网络2、全连接层3、卷积层4、池化层5、误差的计算6、误差的反向传播7、权重的更新二、LeNet三、AlexNet四、VggNet五、GoogLeNet 一、卷积神经网络基础 1、卷积神经网络 2、全连接层 3、卷积层 目的：进行图像特征提取 卷及特性： 1.拥有局部感知机制 2.权值共享 1.卷积核的channel（深度）与输入特征层的channel相同 2.输出的特征矩阵的channel与卷积核个数相同 4、池化层 目的：对特征图进行稀疏处理，减少
重磅分享：使用PyTorch实现MNIST手写体识别代码
01-20
今天小编就为大家分享一篇使用PyTorch实现MNIST手写体识别代码，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧 文章目录实验环境MNIST数据集介绍导入包定义超参数数据集定义网络实例化网络定义...
使用PyTorch实现MNIST手写体识别代码
09-18
今天小编就为大家分享一篇使用PyTorch实现MNIST手写体识别代码，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
使用PyTorch实现MNIST手写数字识别对应源码文件
07-26
使用PyTorch实现MNIST手写数字识别对应源码文件。 参考图书《python深度学习 pytorch版》 详细代码及注释。
简化的 `Transformer` 编码器（Encoder）和解码器（Decoder）的 PyTorch 代码示例
Dalao_zzl的博客
05-16 500
编码器通常包括一个多头注意力层、一个前馈神经网络（FFN）以及可能的层归一化和残差连接。解码器则通常包括两个多头注意力层（一个自注意力层和一个编码器-解码器注意力层）以及一个前馈神经网络。是由 Google 提出的用于自然语言处理（NLP）任务的一个深度学习模型架构，它基于自注意力（self-attention）机制。编码器（Encoder）和解码器（Decoder）的 PyTorch 代码示例。请注意，这个示例仅用于教学目的，并未包含完整的。类仅实现了多头注意力机制的核心部分，并没有包含完整的。
第N3周：pytorch文本分类入门
最新发布
S153580的博客
05-17 725
文本偏移量（offsets）在处理文本数据时是用来记录每个样本的文本在批量数据中的起始位置。这种做法通常用于处理序列数据，如文本数据，当文本长度不一致时。在文本分类任务中，每个样本可能包含不同数量的文本，这意味着在将文本数据传递给模型之前，需要对它们进行适当的重组。文本偏移量的作用是在批量数据中正确地对齐每个样本的文本。具体来说，偏移量是一个列表，其中每个元素代表批量数据中对应样本的文本开始位置。样本1: “here is”样本2: “an example”
第P6周：VGG-16算法-Pytorch实现人脸识别
努力学习的大小宝
05-16 598
在PyTorch的ImageFolder数据加载器中，根据数据集文件夹的组织结构，每个文件夹代表一个类别，函数会遍历模型的所有参数，通过内置方法截断反向传播的梯度流，再将每个参数的梯度值设为0，即上一次的梯度记录被清空。为True，则w的所有上层参数（后面层的权重w）的.grad_fn属性中就保存了对应的运算，然后在使用。，所有的梯度就会自动运算，tensor的梯度将会累加到它的.grad属性里面去。后，会一层层的反向传播计算每个w的梯度值，并保存到该w的.grad属性中。
【图神经网络——PubMed】
weixin_46348136的博客
05-16 936
仅记录个人学习
【pytorch】图像预处理torchvision.transforms
weixin_48846514的博客
05-15 219
transforms 图像预处理
如何用pytorch实现MNIST分类
05-10
MNIST是一个非常经典的手写数字识别数据集，使用PyTorch实现MNIST分类可以分为以下几个步骤： 1. 导入必要的库和数据集 ```python import torch import torch.nn as nn import torch.optim as optim import torchvision.datasets as datasets import torchvision.transforms as transforms train_data = datasets.MNIST(root='data', train=True, transform=transforms.ToTensor(), download=True) test_data = datasets.MNIST(root='data', train=False, transform=transforms.ToTensor(), download=True) train_loader = torch.utils.data.DataLoader(train_data, batch_size=64, shuffle=True) test_loader = torch.utils.data.DataLoader(test_data, batch_size=64, shuffle=False) ``` 2. 定义模型 我们可以使用一个简单的卷积神经网络来实现MNIST分类。这里我们定义了一个包含两个卷积层和两个全连接层的模型。 ```python class Net(nn.Module): def __init__(self): super(Net, self).__init__() self.conv1 = nn.Conv2d(1, 32, 3, padding=1) self.conv2 = nn.Conv2d(32, 64, 3, padding=1) self.fc1 = nn.Linear(64 * 7 * 7, 128) self.fc2 = nn.Linear(128, 10) def forward(self, x): x = nn.functional.relu(self.conv1(x)) x = nn.functional.max_pool2d(x, 2) x = nn.functional.relu(self.conv2(x)) x = nn.functional.max_pool2d(x, 2) x = x.view(-1, 64 * 7 * 7) x = nn.functional.relu(self.fc1(x)) x = self.fc2(x) return x model = Net() ``` 3. 定义损失函数和优化器 ```python criterion = nn.CrossEntropyLoss() optimizer = optim.Adam(model.parameters(), lr=0.001) ``` 4. 训练模型 ```python for epoch in range(10): for i, (images, labels) in enumerate(train_loader): optimizer.zero_grad() outputs = model(images) loss = criterion(outputs, labels) loss.backward() optimizer.step() if (i+1) % 100 == 0: print('Epoch [%d/%d], Step [%d/%d], Loss: %.4f' % (epoch+1, 10, i+1, len(train_loader), loss.item())) ``` 5. 测试模型 ```python correct = 0 total = 0 with torch.no_grad(): for images, labels in test_loader: outputs = model(images) _, predicted = torch.max(outputs.data, 1) total += labels.size(0) correct += (predicted == labels).sum().item() print('Accuracy of the network on the 10000 test images: %d %%' % (100 * correct / total)) ``` 这样就完成了使用PyTorch实现MNIST分类的过程。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

饭碗、碗碗香

感谢壮士的慷概解囊！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值