pytorch 解决'模型预测时把batch_size调小了准确率就会下降'的问题

最新推荐文章于 2024-05-02 15:46:30 发布
最新推荐文章于 2024-05-02 15:46:30 发布
阅读量4.3k 收藏 2
点赞数 4
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Accepted_Lam/article/details/104826055
版权

最近在使用pytorch的mobilenet v2，使用模型进行验证的时候出现了奇怪的问题，调节预测时的batch size,准确度竟然会有较大的变化。具体表现为，batch size越小，四个指标越低。当batch size调为1的时候f1等指标居然都在80%以下。上网查了资料，包括知乎中的问题当batch_size为1时为何模型测试的准确率会严重下降？ 发现测试结果较差的原因在于BatchNorm的afine=True,使得验证时BatchNorm中的参数也参与了训练。
解决方法：在验证模型前加入 model.eval()

Accepted_Lam
关注
  • 4
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
pytorch之inception_v3的实现案例
09-18
在这个函数中，我们记录训练时间，保存最佳模型权重，以及跟踪验证集上的最高准确率。每轮训练后，模型的性能会被记录到"acc.txt"和"log.txt"文件中。 Inception_v3模型的特点在于其模块化的结构，每个模块（称为...
【pytorch+全连接层】mnist分类问题【尽可能的高准确率，99%以上】
04-19
在本项目中，我们将利用PyTorch框架来解决经典的MNIST手写数字识别问题，但不采用常见的卷积神经网络（CNN），而是采用全连接层（FC层）。目标是构建一个深度学习模型，该模型至少包含两层隐藏层，并且在训练集上的...
【菜菜的CV进阶之路-Pytorch基础-batch normalization】同一个模型预测结果随batchsize的不同而不同
智慧地球（AI·Earth）
04-17 2787
训练一个网络，在测试结果的时候遇到的问题：我同一个模型，当batchsize设置成1的时候准确率70%，但当batchsize设置成8的时候就是90%，真是百思不得其解...然后问师兄，师兄说可能是一个取了平均，一个没有取平均（当时没太懂TT...），Google后发现了答案QAQ： 请教：对于同一个模型，预测结果随输入样本数量而改变 目前在做一个softmax的分类，非常基础，是分类电视台标...
掌财社:pytorch测试结果不准确怎么办？关于model.eval的问题
weixin_45378258的博客
07-20 463
不知道有没有小伙伴遇到过这样的情况：有时候使用Pytorch训练完模型，在测试数据上面得到的结果并不尽如人意。到底是什么原因导致pytorch训练结果不准确的呢？阅读这篇文章，你或许会找到答案。 当我们遇到训练结果不准确的情况的时候，可能需要检查一下定义的Model类中有没有 BN 或 Dropout 层，如果有任何一个存在 那么在测试之前需要加入一行代码： #model是实例化的模型对象 model = model.eval() 表示将模型转变为evaluation（测试）模式，这样就可以排除B
【深度学习】一文向您详细介绍深度学习中的 batch_size
最新发布
创作高质量博文，分享知识，共同进步！
05-02 5968
🔥💡深入解读深度学习中的关键参数`batch_size`！💼 🌟了解`batch_size`如何影响模型的训练速度、收敛性及泛化能力，为你的深度学习项目提供指导。从理论到实践，掌握选择合适的`batch_size`的秘诀，并通过代码示例直观感受其影响。让深度学习训练更高效，模型性能更卓越！#深度学习 #batch_size #模型优化 #代码实践
深度学习：batch_size和学习率 及如何调整
热门推荐
皮皮blog
10-21 3万+
-柚子皮- 学习率衰减 import torch.optim as optim from torch.optim import lr_scheduler # 训练前的初始化 optimizer = optim.Adam(net.parameters(), lr=0.001) #学习率衰减 scheduler = lr_scheduler.StepLR(optimizer, 10, 0.1) # # 每过10个epoch，学习率乘以0.1 # 训练过程中 for n in n_epoch: ...
模型参数加载后继续训练或测试，准确率下降很多或者一直不变
j_starry的博客
11-14 4560
如果保存的模型加载后继续训练或测试时，准确率和预想的有较大差距，可以从以下几个方面去进行考虑
日攻一卒 --- batch_size 和 准确率的关系
weixin_40170393的博客
05-08 1469
为了找到适合您问题的最佳批量大小，您可以尝试这些常用值，并根据训练速度和准确率来确定合适的大小。收敛速度：较大的批量大小可以加速训练过程，因为每个批次处理的样本更多。较小的批量大小可能会导致模型收敛速度较慢，但由于噪声较大，有助于模型跳出局部最小值。准确率：在许多情况下，较小的批量大小可以提高模型的泛化能力。因此，选择合适的批量大小对于在训练速度和准确率之间实现平衡至关重要。计算资源：较大的批量大小需要更多的内存。较小的批量大小占用较少的内存，使得训练可以在具有有限资源的设备上进行。
pytorch classification的.py_pytorch_pytorch分类_MNISTpytorch_
10-03
这通常通过计算模型预测的准确率来完成： ```python correct = 0 total = 0 with torch.no_grad(): for images, labels in test_loader: outputs = model(images) _, predicted = torch.max(outputs.data, 1) ...
实现CNN（处理MINIST）_pytorch_pythoncnn_CNNpytorch_
10-01
这通常会通过计算准确率来衡量。 在实际的代码文件“实现CNN（处理MINIST）.py”中，上述步骤将被具体实现。通过运行此脚本，你可以看到一个基本的CNN在MNIST数据集上的实现和性能。 总结来说，这个项目是关于使用...
深度学习模型训练--以pytorch为例.pptx
06-24
深度学习模型训练是人工智能领域中的核心任务，PyTorch是一个广泛应用的深度学习框架，它提供了丰富的功能和灵活性，便于研究人员和工程师构建和训练复杂的模型。本篇将详细讲解基于PyTorch的深度学习模型训练过程，...
Pytorch 关于Batch_Size的大小及BatchNorm设置对测试结果的影响
danielr1106的博客
02-29 1万+
这篇里面没图片 BatchNorm的affine=True的情况下，如果训练和测试的时候Batch_Size设置成不同的数字，比如训练的时候Batch_Size=16，测试的时候单张测试（Batch_Size=1），则测试结果会很差，必须在测试的时候Batch_Size=16（也就是测试和训练使用同样的Batch_Size），才会有合理的结果 这样的情况是因为BatchNorm的affine=Tr...
【深入浅出pytorch-task2】-玄学batchsize
kkz2756275580的博客
07-14 2579
batch选取总结，深度剖析
pytorch 模型预测时 batch_size调小了准确率就会下降‘的问题
hllyzms的博客
03-20 1693
最近在使用pytorch的mobilenet v2，使用模型进行验证的时候出现了奇怪的问题，调节预测时的batch size,准确度竟然会有较大的变化。具体表现为，batch size越小，四个指标越低。当batch size调为1的时候f1等指标居然都在80%以下。 上网查了资料，包括知乎中的问题当batch_size为1时为何模型测试的准确率会严重下降？ 当batch_size为1时，为何模型测试的准确率会严重下降？ - 知乎 发现测试结果较差的原因在于BatchNorm的afine=True,使
使用模型时，batchsize为1，模型报错
explorer5568的博客
03-14 1987
使用模型时需要batchsize为1，怎么样才能不报错
batchsize对模型的影响
weixin_43972097的博客
08-22 2233
实际问题 不小心把batch_size设置为1之后，发现模型在第一个epoch的时候就不收敛了，在一个不太理想的准确率（0.7）左右晃荡。 然后更改为16之后，训练速度大大提升，准确率也开始收敛。 查阅资料 按理来说，batch_size为1是最好的，一次只处理一个样本，让模型可以学到的东西更加丰富。不过实际上调的时候，会出现batch_size太小导致网络收敛不稳定，最后结果比较差。 这是因为线性神经元在均方误差代价函数的错误面是一个抛物面，横截面是椭圆。对于多层神经元，非线性网络，在局部依然近似是抛物面
01.浅谈深度学习中Batch_size的大小对模型训练的影响
poowicat的博客
05-12 1万+
Batch_size的作用： 决定了下降的方向。 在合理范围内增大Batch_size的好处： 提高内存利用率以及大矩阵乘法的并行化效率； 跑完一次epoch（全数据集）所需要的迭代次数减少，对相同的数据量，处理速度比小的Batch_size要更快； 在一定范围内，一般来说Batch_size越大，其确定的下降方向越准，引起的训练震荡越小 盲目增大Batch_size，Batch_size过大的坏处： 提高了内存利用率，但内存容量可能撑不住； 跑完一次epoch所需的迭代次数变小，但想要达到相同的
batch_size应该怎么设置
weixin_46013817的博客
12-16 5447
batch_size的设置
transformers做cifar10图像分类任务保存loss曲线和准确率曲线并保存模型pytorch
05-27
好的，针对您的问题，我可以提供一份 PyTorch 代码示例来实现 transformers 在 CIFAR-10 上的图像分类任务，同时还记录 loss 和准确率曲线，并保存训练好的模型。 ```python import torch import torch.nn as nn ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值