模型优化系列2：分类器ArcLoss使用Pytorch实现MNIST分类图示

最新推荐文章于 2024-06-07 17:53:09 发布
最新推荐文章于 2024-06-07 17:53:09 发布
阅读量411 收藏 7
点赞数 5
分类专栏： 模型优化 文章标签： pytorch 分类 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44240478/article/details/137456689
版权

ArcLoss实现

以MNIST数据集为例

前言

尝试了很多版本，目前没有找到一个适合CIFAR10数据集的网络模型0.0

V0

网络结构

self.hidden_layer = nn.Sequential(
    ConvLayer(1, 16, 3, 1, 0),
    nn.MaxPool2d(2),
    ConvLayer(16, 32, 3, 1, 0),
    ConvLayer(32, 64, 3, 1, 0),
    ConvLayer(64, 128, 3, 1, 0),
    ConvLayer(128, 256, 3, 1, 0),
)

self.fc = nn.Sequential(
    nn.Linear(256 * 5 * 5, 2)
)

参数

data_loader = DataLoader(dataset=mnist_data, shuffle=True, batch_size=256)
opt_net = torch.optim.Adam(net.parameters())
opt_arc = torch.optim.Adam(arc.parameters())

效果

image.png
训练到中途，数据不稳定
image.png
训练100次，无法进一步划分类别
image.png

结论

类别无法完全分开，训练到中途，数据图形爆炸

V1

增加网络深度

网络结构

self.hidden_layer = nn.Sequential(
    ConvLayer(1, 32, 5, 1, 2),
    ConvLayer(32, 64, 5, 1, 2),
    nn.MaxPool2d(2, 2),
    ConvLayer(64, 128, 5, 1, 2),
    ConvLayer(128, 256, 5, 1, 2),
    nn.MaxPool2d(2, 2),
    ConvLayer(256, 512, 5, 1, 2),
    ConvLayer(512, 512, 5, 1, 2),
    nn.MaxPool2d(2, 2),
    ConvLayer(512, 256, 5, 1, 2),
    ConvLayer(256, 128, 5, 1, 2),
    ConvLayer(128, 64, 5, 1, 2),
    nn.MaxPool2d(2, 2)
)

self.fc = nn.Sequential(
    nn.Linear(64, 2)
)

参数

data_loader = DataLoader(dataset=mnist_data, shuffle=True, batch_size=256)
opt_net = torch.optim.Adam(net.parameters())
opt_arc = torch.optim.Adam(arc.parameters())

效果

image.png
image.png

结论

持续十多轮，无法进一步减少损失，尝试更换优化器，实现降低损失

V1.1（最佳）

V1基础上调整优化器Adam–>SGD，其余条件不变

参数

data_loader = DataLoader(dataset=mnist_data, shuffle=True, batch_size=256)
opt_net = torch.optim.SGD(net.parameters(), lr=0.001, momentum=0.9)
scheduler = torch.optim.lr_scheduler.StepLR(opt_net, 20, gamma=0.8)
opt_arc = torch.optim.SGD(arc.parameters(), lr=0.5)

效果

image.png
image.png

结论

分类效果明显，训练速度减慢，SGD优化器在合适的参数下，比Adam分类效果更好

V1.1.2（佳）

V1.1基础上减少网络宽度，其余条件不变

网络结构

self.hidden_layer = nn.Sequential(
    ConvLayer(1, 32, 5, 1, 2),
    ConvLayer(32, 32, 5, 1, 2),
    nn.MaxPool2d(2, 2),
    ConvLayer(32, 64, 5, 1, 2),
    ConvLayer(64, 64, 5, 1, 2),
    nn.MaxPool2d(2, 2),
    ConvLayer(64, 128, 5, 1, 2),
    ConvLayer(128, 128, 5, 1, 2),
    nn.MaxPool2d(2, 2),
    ConvLayer(128, 256, 5, 1, 2),
    ConvLayer(256, 128, 5, 1, 2),
    ConvLayer(128, 64, 5, 1, 2),
    nn.MaxPool2d(2, 2)
)

self.fc = nn.Sequential(
    nn.Linear(64, 2)
)

效果

image.png
image.png

结论

分类明显，宽度减少，收敛速度较慢

V1.1.3

V1.1.2基础上，网络全连接改为卷积，其余条件不变

网络结构

self.hidden_layer = nn.Sequential(
    ConvLayer(1, 32, 5, 1, 2),
    ConvLayer(32, 32, 5, 1, 2),
    nn.MaxPool2d(2, 2),
    ConvLayer(32, 64, 5, 1, 2),
    ConvLayer(64, 64, 5, 1, 2),
    nn.MaxPool2d(2, 2),
    ConvLayer(64, 128, 5, 1, 2),
    ConvLayer(128, 128, 5, 1, 2),
    nn.MaxPool2d(2, 2),
    ConvLayer(128, 256, 5, 1, 2),
    ConvLayer(256, 128, 5, 1, 2),
    ConvLayer(128, 64, 5, 1, 2),
    nn.MaxPool2d(2, 2)
)

self.fc = nn.Sequential(
    # nn.Linear(64, 2)
    nn.Conv2d(64, 2, 5, 1, 2)
)

效果

image.png
image.png

结论

存在重合类别，效果没有全连接好

V1.1.4

V1.1基础上，修改学习率

参数

data_loader = DataLoader(dataset=mnist_data, shuffle=True, batch_size=256)
opt_net = torch.optim.SGD(net.parameters(), lr=0.01, momentum=0.9)
scheduler = torch.optim.lr_scheduler.StepLR(opt_net, 20, gamma=0.8)
opt_arc = torch.optim.SGD(arc.parameters(), lr=0.5)

效果

image.png
image.png

结论

类别存在重合

V1.2

V1.1基础上减少网络层数，其余条件不变

网络结构

self.hidden_layer = nn.Sequential(
    ConvLayer(1, 32, 3, 1, 1),
    ConvLayer(32, 64, 3, 1, 2),
    nn.MaxPool2d(2, 2),
    ConvLayer(64, 128, 3, 1, 1),
    ConvLayer(128, 256, 3, 1, 2),
    nn.MaxPool2d(2, 2),
    ConvLayer(256, 256, 3, 1, 1),
    ConvLayer(256, 128, 3, 1, 2),
    nn.MaxPool2d(2, 2)
)

self.fc = nn.Sequential(
    nn.Linear(128 * 5 * 5, 2)
)

效果

image.png

结论

训练速度较快，分类收敛速度不如较深层的网络结构，类别存在重合

V1.2.2

相比V1.2条件，更换网络宽度，减少参数

网络结构

self.hidden_layer = nn.Sequential(
    ConvLayer(1, 32, 5, 1, 2),
    ConvLayer(32, 32, 5, 1, 2),
    nn.MaxPool2d(2, 2),
    ConvLayer(32, 64, 5, 1, 2),
    ConvLayer(64, 64, 5, 1, 2),
    nn.MaxPool2d(2, 2),
    ConvLayer(64, 128, 5, 1, 2),
    ConvLayer(128, 128, 5, 1, 2),
    nn.MaxPool2d(2, 2)
)

self.fc = nn.Sequential(
    nn.Linear(128 * 3 * 3, 2)
)

效果

image.png
image.png

结论

类别存在重合

V1.2.3（佳）

V1.2.2基础上，修改网络学习率

参数

data_loader = DataLoader(dataset=mnist_data, shuffle=True, batch_size=256)
opt_net = torch.optim.SGD(net.parameters(), lr=0.01, momentum=0.9)
scheduler = torch.optim.lr_scheduler.StepLR(opt_net, 20, gamma=0.8)
opt_arc = torch.optim.SGD(arc.parameters(), lr=0.5)

效果

image.png
image.png

结论

分类明显，收敛较快

V1.2.4

V1.2.3基础上，修改批次

参数

data_loader = DataLoader(dataset=mnist_data, shuffle=True, batch_size=512)
opt_net = torch.optim.SGD(net.parameters(), lr=0.01, momentum=0.9)
scheduler = torch.optim.lr_scheduler.StepLR(opt_net, 20, gamma=0.8)
opt_arc = torch.optim.SGD(arc.parameters(), lr=0.5)

效果

image.png
image.png

结论

批次256–>512，类别存在重合

V2

相比V1条件，更换网络，加深深度，减少宽度，其余条件不变

网络结构

self.hidden_layer = nn.Sequential(
    ConvLayer(1, 32, 5, 1, 2),
    ConvLayer(32, 32, 5, 1, 2),
    nn.MaxPool2d(2, 2),
    ConvLayer(32, 32, 5, 1, 2),
    ConvLayer(32, 32, 5, 1, 2),
    nn.MaxPool2d(2, 2),
    ConvLayer(32, 32, 5, 1, 2),
    ConvLayer(32, 32, 5, 1, 2),
    ConvLayer(32, 32, 5, 1, 2),
    nn.MaxPool2d(2, 2),
    ConvLayer(32, 32, 5, 1, 2),
    ConvLayer(32, 32, 5, 1, 2),
    ConvLayer(32, 32, 5, 1, 2),
    nn.MaxPool2d(2, 2)
)

self.fc = nn.Sequential(
    nn.Linear(32, 2)
)

效果

image.png
image.png

结论

分类存在重合

V2.1

V2基础上，修改学习率

参数

data_loader = DataLoader(dataset=mnist_data, shuffle=True, batch_size=256)
opt_net = torch.optim.SGD(net.parameters(), lr=0.01, momentum=0.9)
scheduler = torch.optim.lr_scheduler.StepLR(opt_net, 20, gamma=0.8)
opt_arc = torch.optim.SGD(arc.parameters(), lr=0.5)

效果

image.png
image.png

结论

类别存在重合

饭碗、碗碗香
关注
  • 5
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
使用 PyTorch 构建超酷的手写数字分类器
iCloudEnd的博客
09-19 87
在深入研究代码之前，定义要解决的问题至关重要。对于此示例，我们考虑一个简单的问题：对 MNIST 数据集中的手写数字 (0–9) 的图像进行分类。
pytorch实现mnist分类的示例讲解
09-18
通过这样的流程，我们可以使用PyTorch实现一个简单的MNIST分类器。随着学习的深入，你可以尝试调整网络结构、优化器参数，甚至引入数据增强等技术来提高模型的准确性和泛化能力。这只是一个起点，PyTorch提供了丰富...
Pytorch实现Arc Loss （实战）
liu1073811240的博客
11-24 1581
下面完整代码在github仓库：传送门 文章目录一、计算余弦相似度二、定义arc softmax损失函数三、搭建网络模型四、开始训练数据 一、计算余弦相似度 import torch import math # 两个向量的普通余弦相似度 a = torch.tensor([1, 2, 3], dtype=torch.float32) b = torch.tensor([1, 2, 3], dtype=torch.float32) cos_alpha = a@b / (torch.sqrt(torch.
特征提取器笔记：CenterLoss+ArcLoss
最新发布
一只努力学习的小碗~
06-07 303
特征提取器笔记，简单理解CenterLoss、ArcLoss等
Pytorch训练分类器进行图像分类
2301_76259531的博客
05-24 835
​​​return x​​torch.nntorch.nn是Pytorch的核心模块，专门用于构建和训练神经网络。它提供了许多预定义的神经网络层、激活函数、损失函数和其他相关工具。神经网络层线性层：如，实现全连接层（也称为密集层）。卷积层：如，实现二维卷积层，常用于图像处理任务。循环层：如和，用于处理序列数据。激活函数常见的激活函数如等。损失函数提供了多种损失函数，如等，用于评估模型的性能。容器：按顺序将多个层组合在一起，形成一个神经网络。和：用于存储和管理层的列表和字典。
Pytorch——图像分类器
qq_45802081的博客
04-05 252
通常来说，当你处理图像，文本，语音或者视频数据时，你可以使用标准 python 包将数据加载成numpy 数组格式，然后将这个数组转换成 torch.*Tensor。 对于图像，可以用 Pillow，OpenCV 对于语音，可以用 scipy，librosa 对于文本，可以直接用 Python 或 Cython 基础数据加载模块，或者用 NLTK 和 SpaCy。 对于视觉，pytorch创建了totchvision的包。 https://pytorch-cn.readthedocs.io/zh/lates
pytorch训练分类器
weixin_45526117的博客
02-22 2434
Training a Classifier 前面学习到如何定义神经网络，计算损失并且对网络权重进行更新 What about data? 通常，当你必须处理图像，文本，音频或视频时，你可以使用能将数据加载到numpy数组的标准python包，然后将该数组转化成torch.*Tensor 图像：Pillow, OpenCV 音频：scipy，librosa 文本：基于python或cython的原始加载，或者NLTK和SpaCy 专门针对视觉，创建了名为torchvision的包，包含常见数据集（Imag
pytorch工具——使用pytorch构建一个分类器
醋酸洋红的博客
07-23 913
展示若干训练集图片 注 分别测试不同类别的模型准确率
【Pytorch_2】搭建一个简单的分类器
酸梅果茶的博客
07-16 318
参考《pytorch学习笔记(1)：开始一个简单的分类器》 首先，运行完整代码，看看效果： 可以看出来，实现了分类功能，损失值降到了0.33左右。下面开始解析代码。实现过程： 自定义一个数据集； 定义一个神经网络； 调用神经网络，计算损失值； 测试训练集，显示结果； 测试自定义测试集，显示结果。 本文中涉及到的Pytorch主要知识点有： torch.ones() torch.normal() torch.zeros() torch.cat() torch.nn.Linear() torch.
使用PyTorch实现MNIST手写体识别代码
09-18
在本教程中，我们将探讨如何使用PyTorch框架来实现MNIST手写体识别任务。MNIST是一个广泛使用的数据集，包含60,000个训练样本和10,000个测试样本，每个样本是28x28像素的灰度图像，代表0到9的手写数字。这个数据集...
重磅分享：使用PyTorch实现MNIST手写体识别代码
01-20
今天小编就为大家分享一篇使用PyTorch实现MNIST手写体识别代码，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧 文章目录实验环境MNIST数据集介绍导入包定义超参数数据集定义网络实例化网络定义...
Pytorch 实现计算分类器准确率(总分类及子分类)
09-18
今天小编就为大家分享一篇Pytorch 实现计算分类器准确率(总分类及子分类)，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
使用PyTorch训练一个图像分类器实例
09-18
今天小编就为大家分享一篇使用PyTorch训练一个图像分类器实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
基于pytorch的cnn水果分类器深度学习平台
03-31
基于基于pytorch的cnn水果分类器深度学习平台，后期博客会针对该程序做以讲解，同时平台的搭建可以参考我的第一篇博客
使用PyTorch实现MNIST手写数字识别对应源码文件
07-26
使用PyTorch实现MNIST手写数字识别对应源码文件。 参考图书《python深度学习 pytorch版》 详细代码及注释。
PyTorch官方教程之3：PyTorch图像分类器
菜鸟笔记
03-11 1877
# 《PyTorch官方教程中文版》， PyTorch图像分类器 import torch import torchvision import torchvision.transforms as transforms import matplotlib.pyplot as plt import numpy as np import torch.nn as nn import torch.nn.functional as F import torch.optim as optim # # read cifa
深度学习框架PyTorch学习——训练一个分类器
喜欢打酱油的老鸟
03-15 1000
2019-03-10 20:38:16 请一定要多看这个例子，知道弄懂，自己能完全理解这些步骤，以及为什么需要这样做？后面还有一个案例会更加加深你的理解。喜欢的欢迎关注加收藏。 https:...
使用pytorch 训练分类器
qq_43527043的博客
10-22 444
使用pytorch训练图片分类详解
Pytorch入门（三）训练一个分类器
onion___的博客
03-21 2402
训练一个图像分类器 依次按照下列顺序进行： 使用torchvision加载和归一化CIFAR10训练集和测试集 定义一个卷积神经网络 定义损失函数 在训练集上训练网络 在测试集上测试网络 1. 读取和归一化 CIFAR10 #使用torchvision可以非常容易地加载CIFAR10。 import torch import torchvision import torchvision.transforms as transforms #torchvision的输出是[0,1]的PILImage图像，
如何用pytorch实现MNIST分类
05-10
MNIST是一个非常经典的手写数字识别数据集，使用PyTorch实现MNIST分类可以分为以下几个步骤： 1. 导入必要的库和数据集 ```python import torch import torch.nn as nn import torch.optim as optim import ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

饭碗、碗碗香

感谢壮士的慷概解囊！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值