Pytorch 关于Batch_Size的大小及BatchNorm设置对测试结果的影响

最新推荐文章于 2024-05-02 15:46:30 发布
最新推荐文章于 2024-05-02 15:46:30 发布
阅读量1.1w 收藏 11
点赞数 3
文章标签： 深度学习 python 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/danielr1106/article/details/104568446
版权

这篇里面没图片

BatchNorm的affine=True的情况下，如果训练和测试的时候Batch_Size设置成不同的数字，比如训练的时候Batch_Size=16，测试的时候单张测试（Batch_Size=1），则测试结果会很差，必须在测试的时候Batch_Size=16（也就是测试和训练使用同样的Batch_Size），才会有合理的结果

这样的情况是因为BatchNorm的affine=True的情况下，BatchNorm的参数也会进入训练，但这个时候BatchNorm的参数是适合Batch_Size=16的时候使用的，一旦Batch_Size变化，这个训练出来的参数就会变得不适用。

解决方法是，将BatchNorm的affine=False，这样训练和测试的时候Batch_Size的大小就没有关系了，缺点是会导致训练速度变慢

以上是手写的情况下，但是在pytorch中不需要这样做，只需要在验证的时候加入 model.eval() 就可以了

danielr1106
关注
  • 3
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 7
    评论
pytorch 每次测试结果不同
Hello Word!
08-04 5843
真是见了鬼了，搞好半天没弄清楚啥原因。把每个预测值看了一遍，确实每次结果不同。 原因排查： 自定义的Metric写的有问题，会根据batch_size变化，是按batch_size大小按每个batch分别计算的，而不是按batch累计的 被测试的网络结构中有Dropout层，比如nn.Dropout 测试的数据loader加入了随机处理，比如transforms.RandomCrop() 其他可能的原因，目前我还没遇到。 感谢： https://blog.csdn.net/t20134297/artic
python batch_size_深度学习中的batch的大小对学习效果有何影响？
weixin_35336900的博客
02-19 1030
可以参考这篇文章：龙鹏-言有三：【AI不惑境】学习率和batchsize如何影响模型的性能？​zhuanlan.zhihu.com目前深度学习模型多采用批量随机梯度下降算法进行优化，随机梯度下降算法的原理如下，n是批量大小(batchsize)，η是学习率(learning rate)。可知道除了梯度本身，这两个因子直接决定了模型的权重更新，从优化本身来看它们是影响模型性能收敛最重要的参数。学习率...
pytorch 测试模型时取不同的batchsize会由不同的正确率
lanlin的博客
06-07 1539
pytorch 测试模型时取不同的batchsize会由不同的正确率，一般是没有使用model.eval()的原因
pytorch 解决'模型预测时把batch_size调小了准确率就会下降'的问题
Accepted_Lam的博客
03-12 4281
最近在使用pytorch的mobilenet v2，使用模型进行验证的时候出现了奇怪的问题，调节预测时的batch size,准确度竟然会有较大的变化。具体表现为，batch size越小，四个指标越低。当batch size调为1的时候f1等指标居然都在80%以下。上网查了资料，包括知乎中的问题当batch_size为1时为何模型测试的准确率会严重下降？ 发现测试结果较差的原因在于BatchNo...
【深度学习】一文向您详细介绍深度学习中的 batch_size
最新发布
创作高质量博文，分享知识，共同进步！
05-02 4120
🔥💡深入解读深度学习中的关键参数`batch_size`！💼 🌟了解`batch_size`如何影响模型的训练速度、收敛性及泛化能力，为你的深度学习项目提供指导。从理论到实践，掌握选择合适的`batch_size`的秘诀，并通过代码示例直观感受其影响。让深度学习训练更高效，模型性能更卓越！#深度学习 #batch_size #模型优化 #代码实践
pytorch——batch_size
Wanankl的博客
11-14 2295
1 定义 单次训练用的样本数，通常为2^N，如32、64、128 2 提出背景 在batch_size概念没提出之前，神经网络的训练每一个epoch需要将所有的数据一次性加载训练，使得内存负载加大。这样会准确计算梯度方向更准确，但不同梯度值差异过大，无法确定全局的学习率。在这样的条件下，batch_size被提出来了。 3 合适的batch_size训练的优点 使内存利用率增大，加快训练速度 使梯度方向计算更准确，收敛快 ...
【BATCH_SIZE大小设置影响测试结果】
nkhgl的博客
12-27 8792
BATCH_SIZE大小设置会影响训练效果，这方面很多人已经介绍过原因了。但是，当我们训练完，BATCH_SIZE大小设置会影响到测试效果就感觉有些奇怪了。后来发现是没有设置随机数种子，加上torch.cuda.manual_seed_all(1)之后，结果就相对固定了。...
pytorch 模型预测时 batch_size调小了准确率就会下降‘的问题
hllyzms的博客
03-20 1681
最近在使用pytorch的mobilenet v2，使用模型进行验证的时候出现了奇怪的问题，调节预测时的batch size,准确度竟然会有较大的变化。具体表现为，batch size越小，四个指标越低。当batch size调为1的时候f1等指标居然都在80%以下。 上网查了资料，包括知乎中的问题当batch_size为1时为何模型测试的准确率会严重下降？ 当batch_size为1时，为何模型测试的准确率会严重下降？ - 知乎 发现测试结果较差的原因在于BatchNorm的afine=True,使
测试时batchsize大小影响结果
qq_33619359的博客
04-09 3017
今天训练一个小模型，发现训练时候batchsize设为16，训练过程中test出结果是100%；但是加载模型测试的时候，结果就不对了。。。尤其是batchsize设为2/4/8的时候。后来发现是自己蠢啊 漏了一句 model.eval() ...
pytorch数据批次的大小对模型拟合效果的影响
weixin_48381563的博客
11-30 320
pytorch数据批次的大小对模型拟合效果的影响
pytorch dataloader 取batch_size时候出现bug的解决方式
09-17
今天小编就为大家分享一篇pytorch dataloader 取batch_size时候出现bug的解决方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
mnist.zip_MNIST pytorch_pytorch_pytorch mnist_pytorch network_zi
09-20
mnist 网络模型，pytorch 实现
PyPI 官网下载 | pytorch_pretrained_bert-0.3.0.tar.gz
01-29
资源来自pypi官网。 资源全名：pytorch_pretrained_bert-0.3.0.tar.gz
PyTorch_tutorial_余霆嵩
01-08
PyTorch中文版教程，详实可靠
【菜菜的CV进阶之路-Pytorch基础-batch normalization】同一个模型预测结果随batchsize的不同而不同
智慧地球（AI·Earth）
04-17 2764
训练一个网络，在测试结果的时候遇到的问题：我同一个模型，当batchsize设置成1的时候准确率70%，但当batchsize设置成8的时候就是90%，真是百思不得其解...然后问师兄，师兄说可能是一个取了平均，一个没有取平均（当时没太懂TT...），Google后发现了答案QAQ： 请教：对于同一个模型，预测结果随输入样本数量而改变 目前在做一个softmax的分类，非常基础，是分类电视台标...
CVPR2021 | 重新思考BatchNorm中的Batch
CV技术指南（微信公众号）
08-21 427
前言 公众号在前面发过三篇分别对BatchNorm解读、分析和总结的文章(文章链接在文末)，阅读过这三篇文章的读者对BatchNorm和归一化方法应该已经有了较深的认识和理解。在本文将介绍一篇关于BatchNorm举足轻重的论文，这篇论文对进行了很多实验，非常全面地考虑了BatchNorm中的Batch。 欢迎关注公众号 CV技术指南 ，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读。 Motivation BatchNorm 区别于其他深度学习算子的关键因素是它对批量数据而不是单个
Pytorch教程(4)——Batch Size & Learning Rate
某热心知名群众的博客
06-18 9133
两个问题 深度学习中batch size的大小对训练过程的影响是什么样的？ 有些时候不可避免地要用超大batch，比如人脸识别，可能每个batch要有几万甚至几十万张人脸图像，训练过程中超大batch有什么优缺点，如何尽可能地避免超大batch带来的负面影响？ 两个问题的回答 batch size的大小影响深度学习训练过程中的完成每个epoch所需的时间和每次迭代(iteration)之间梯度的平滑程度； 对于一个大小为N的训练集，如果每个epoch中mini-batch的采样方法采用最常规的N
Pytorch神经网络极简入门（回归）
算法探索之路
07-15 3041
意思是把梯度置零，也就是把loss关于weight的导数变成0，即将梯度初始化为零（因为一个batch的loss关于weight的导数是所有sample的loss关于weight的导数的累加和）；采用随机梯度下降进行训练，损失函数采用常用的均方损失函数，设置学习率为0.1，可以根据需要进行设置，原则上越小学习越慢，但是精度也越高，然后进行迭代训练（这里设置为5000次）.是一个实现了各种优化算法的库。为了更好的看出生成的数据类型，我们采用将生成的数据plot出来。的参数选项，比如学习率，权重衰减，等等。..
Pytorch第三章线性神经网络线性回归实现
weixin_40473318的博客
02-04 163
动手深度学习dive into deep learning Pytorch第三章线性神经网络线性回归实现
上边的代码运行以后出现错误Expected input batch_size (128) to match target batch_size (32)
06-08
这个错误通常是因为你的模型的最后一层输出的维度不匹配标签的维度导致的。在这个示例代码中，我们的模型的最后一层输出的是一个大小为5的张量，表示5个类别的概率，而标签是一个大小为1的张量，表示样本属于哪个类别。因此，需要将标签转换为大小为5的张量。 在PyTorch中，有一个函数叫做`torch.nn.functional.one_hot`可以将标签转换为one-hot编码的张量，即每个样本的标签被转换为一个大小为类别数的张量，其中标签对应的位置为1，其余位置为0。我们可以将标签转换为one-hot编码的张量，然后在计算损失函数时使用这个张量。具体修改如下： ```python # 在定义数据加载器时，将标签转换为one-hot编码 train_dataset = datasets.ImageFolder('./data/train', transform=transform, target_transform=lambda x: torch.nn.functional.one_hot(torch.tensor(x), num_classes=5)) train_loader = torch.utils.data.DataLoader(train_dataset, batch_size=32, shuffle=True) test_dataset = datasets.ImageFolder('./data/test', transform=transform, target_transform=lambda x: torch.nn.functional.one_hot(torch.tensor(x), num_classes=5)) test_loader = torch.utils.data.DataLoader(test_dataset, batch_size=32, shuffle=False) # 在模型的最后一层使用LogSoftmax函数 # 在计算损失函数时使用NLLLoss函数，它的输入是LogSoftmax函数的输出和one-hot编码的标签 class FlowerNet(nn.Module): def __init__(self): super(FlowerNet, self).__init__() self.conv1 = nn.Conv2d(3, 32, kernel_size=3, padding=1) self.bn1 = nn.BatchNorm2d(32) self.conv2 = nn.Conv2d(32, 64, kernel_size=3, padding=1) self.bn2 = nn.BatchNorm2d(64) self.conv3 = nn.Conv2d(64, 128, kernel_size=3, padding=1) self.bn3 = nn.BatchNorm2d(128) self.conv4 = nn.Conv2d(128, 256, kernel_size=3, padding=1) self.bn4 = nn.BatchNorm2d(256) self.fc1 = nn.Linear(256 * 7 * 7, 1024) self.fc2 = nn.Linear(1024, 5) self.dropout = nn.Dropout(0.5) def forward(self, x): x = nn.functional.relu(self.bn1(self.conv1(x))) x = nn.functional.max_pool2d(x, 2) x = nn.functional.relu(self.bn2(self.conv2(x))) x = nn.functional.max_pool2d(x, 2) x = nn.functional.relu(self.bn3(self.conv3(x))) x = nn.functional.max_pool2d(x, 2) x = nn.functional.relu(self.bn4(self.conv4(x))) x = nn.functional.max_pool2d(x, 2) x = x.view(-1, 256 * 7 * 7) x = nn.functional.relu(self.fc1(x)) x = self.dropout(x) x = self.fc2(x) x = nn.functional.log_softmax(x, dim=1) return x model = FlowerNet() criterion = nn.NLLLoss() optimizer = optim.Adam(model.parameters(), lr=0.001) # 在训练过程中，需要将one-hot编码的标签转换为大小为1的张量，以便计算损失函数 for epoch in range(10): running_loss = 0.0 for i, (inputs, labels) in enumerate(train_loader): optimizer.zero_grad() outputs = model(inputs) loss = criterion(outputs, torch.argmax(labels, dim=1)) loss.backward() optimizer.step() running_loss += loss.item() if i % 20 == 19: print('[%d, %d] loss: %.3f' % (epoch+1, i+1, running_loss/20)) running_loss = 0.0 # 在测试过程中，也需要将one-hot编码的标签转换为大小为1的张量 correct = 0 total = 0 with torch.no_grad(): for inputs, labels in test_loader: outputs = model(inputs) _, predicted = torch.max(outputs.data, 1) total += labels.size(0) correct += (predicted == torch.argmax(labels, dim=1)).sum().item() print('Accuracy on test set: %d %%' % (100 * correct / total)) ``` 在这个修改后的代码中，我们将标签转换为one-hot编码的张量，并在模型的最后一层使用了`nn.functional.log_softmax`函数将输出转换为对数概率。在计算损失函数时，我们使用了`nn.NLLLoss`函数，它的输入是对数概率和标签的索引。在训练和测试过程中，我们将one-hot编码的标签转换为标签的索引。这样修改后，应该就可以解决这个错误了。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值