pytorch同批数据测试多轮结果不同

最新推荐文章于 2024-03-18 13:33:38 发布
最新推荐文章于 2024-03-18 13:33:38 发布
阅读量1.5k 收藏 2
点赞数 2
文章标签： 深度学习 计算机视觉 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/C_C666/article/details/123604893
版权

问题

Val验证集，dataloader设置shuffle=True，图像预处理不采用随机增强，使用同一个模型，测试多轮，结果准确率每轮都不同。

分析

正常情况下，同一个模型，同一批数据，测试结果应该相同。如果不同则可能是每轮输入数据随机增强方式不同，或者是每轮模型参数发生改变。但是我并没有采取随机增强，因此问题主要出在模型改变上。

解决

经过仔细分析代码，发现模型预测中没有加model.eval()，加了后每轮评估结果都相同了。

原因

Pytorch model.eval()做了什么

后来查阅资料发现，model.eval()能够去掉模型中的Dropouts层和BatchNorm层等。

而我的模型采用torchvision的resnet18，模型中有BN层，但没有Dropouts层。

在这里插入图片描述

如上图所示，γ和β是训练参数，在模型验证过程中不变，但批均值μ和批方差σ与每批的输入相关，而采用shuffle=True会导致每轮验证中批数据不同，因此结果也不同。

wzy-666
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
pytorch每次分类结果都不同，有细微差异
爱学习的大白菜的博客
11-03 3649
看了许多大神的经验，做一个总结： 验证测试的时候开启model.eval() 。 设置随机种子。 pytorch框架中模型加载器dataLoader的属性“shuffle”置为“False”。 如果想看 具体原因 和 简单实现 可以继续往下看： 验证测试的时候开启model.eval() 。因为可能你的模型中含有 BatchNormalization（批归一化）或 Dropout（舍弃），如果未设置模型为eval模式，则验证时会根据每次的batch调整或Dropout还是随机去掉某些神经元，
Pytorch evaluation每次运行结果不同的解决
09-18
今天小编就为大家分享一篇Pytorch evaluation每次运行结果不同的解决，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
[pytorch] 每次训练的结果都不同（无法复现）
currycode
06-05 1万+
原因： 没有设置seed，torch的一些操作有随机性。 解决：https://github.com/pytorch/pytorch/issues/7068 torch.manual_seed(seed) torch.cuda.manual_seed(seed) torch.cuda.manual_seed_all(seed) # if you are using ...
torch.backends.cudnn.benchmark ?!
Alan的博客
07-15 2万+
大家在训练深度学习模型的时候，经常会使用 GPU 来加速网络的训练。但是说起 torch.backends.cudnn.benchmark 这个 GPU 相关的 flag，可能有人会感到比较陌生。在一般场景下，只要简单地在 PyTorch 程序开头将其值设置为 True，就可以大大提升卷积神经网络的运行速度。既然如此神奇，为什么 PyTorch 不将其默认设置为 True？它的适用场景是什么？为什么使用它可以提升效率？答案就在本文之中。
pytorch连续多次推理同样的数据，结果居然不一样？
cs_softwore的专栏
03-09 3721
深度学习中经常会用到反卷积操作，在使用pytorch时，发现如下问题，特做记录。 语句1：self.deconv1 = nn.ConvTranspose2d(in_channel, out_channel, kernel_size=4, stride=2, padding=1， output_padding=0， bias=False) 语句2：self.deconv1 = nn.Conv...
pytorch测试数据集.rar
03-10
3. **数据加载器**：PyTorch的`DataLoader`类用于批量加载数据，它可以并行加载数据，实现有效的内存管理，并可以设置批大小、随机种子等参数，以在训练过程中提供不同的数据批次。 4. **模型构建**：创建一个神经...
LeNet-5识别MNIST手写数字数据集（PyTorch）
10-14
4. **训练循环**：每次迭代取一批数据，计算损失，利用优化器更新权重，记录训练过程中的损失和准确率。 5. **验证与测试**：在验证集和测试集上评估模型性能。 **六、总结** 通过使用PyTorch实现的LeNet-5模型，...
pytorch实现根据csv分类
06-18
在PyTorch中实现CSV数据的分类是一项常见的任务，它涉及到数据预处理、构建神经网络模型、训练模型以及评估模型等多个步骤。以下是对这个主题的详细解析： 1. **数据预处理**： - `csvtotxt.py` 文件可能用于将CSV...
Pytorch实现：使用ResNet18网络训练Cifar10数据集，测试集准确率达到95.46%(从0开始
10-19
在本项目中，我们将深入探讨如何使用PyTorch框架实现ResNet18网络，并以此对CIFAR-10数据集进行训练，最终在测试集上达到95.46%的准确率。这是一个从零开始的教程，不依赖任何预训练模型，旨在帮助初学者了解深度...
基于 PyTorch 的 YOLO v5 表情识别（代码+数据）
09-16
1. **Mosaic 数据增强**：这是一种增强训练数据的方法，通过随机混合多个图像，增加模型对不同场景和物体位置的泛化能力。 2. **Path Aggregation Network (PAN)**：YOLO v5 引入了路径聚合网络，用于提高特征金字塔...
模型每次跑的结果不同怎么办？
阿财是小白的博客
11-18 1万+
模型每次跑的结果不同怎么办？1、首先设置种子2、逐步检查3、可能出错的地方 我使用pytorch跑深度学习模型时发现每次跑的结果都不一样，所以在此总结了一下如何解决的方法。 1、首先设置种子 在代码中加入下面这个函数方法： def set_random_seed(seed, deterministic=False): random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual
pytorch预测之多次预测结果不一致问题
confusingbird的博客
09-25 4196
为什么多次预测结果不一致 检查是否在每次预测前使用 model.eval() 或者是 with torch.no_grad(): for ... 检查是否取消了所有的dropout 设置随机种子 def setup_seed(seed): np.random.seed(seed) random.seed(seed) torch.manual_seed(seed) #cpu torch.cuda.manual_seed_all(seed) #并行gp
pytorch中model.eval的作用
热门推荐
大山的专栏
05-09 3万+
pytorch中model.eval()的作用 问题描述： torch.onnx.export()导出onnx模型后，利用onnxruntime加载onnx模型后，其输出结果与原始.pth模型的输出结果之间存在很大的差距；通过拆分网络结构，定位到nn.BatchNorm2d()层导致； Batch Normalization和Dropout Batch Normalization 其作用对网络中间的每层进行归一化处理，并且使用变换重构（Batch Normalization Transform）保证每层提
pytorch 加载模型后测试的同一条数据得到的结果不一样
凝眸伏笔的博客
11-12 1万+
问题现场： 背景：Python3.6，pytorch1.+，使用huggingface.co工具去finetuning bert模型，在多gpu上训练保存模型，在cpu上加载去做预测。 加载模型，对同一条数据测试结果不一样。 当时检查了：1 1.模型的状态是否是model.eval()?————不是这个问题 2.是否使用torch.no_grad()，这句代码的意思是使得本次过的样本不会更新梯度。————不是这个问题 model.eval() with torch.no_grad(): .
为什么你每次训练模型，结果都不一样，如同玄学
a14285700的博客
03-11 849
【代码】为什么你每次训练模型，结果都不一样，如同玄学。
测试集多次测试结果不一致原因总结
qq_34741153的博客
08-05 4312
所有的原因可以归结为测试过程中出现了随机的情况，但随机发生的原因不一而论。 一、数据预处理使用随机变换操作 为了使模型更具鲁棒性，训练集数据的预处理往往会使用随机裁剪、随机水平垂直变换、随机仿射变换等数据增强手段，但在测试集数据的预处理过程务必避免随机操作的出现。 这会导致每次输入的数据存在一定的偏差，进而导致模型预测结果的偏差。这种情况下，模型准确率一般会在较小的范围波动。 二、测试过程为开启评估模式 即mo...
pytorch如何确保每次实验可重复性(每次训练测试结果相同)(模型每次结果也不一样的问题解决方法)（固定随机种子等操作）
最新发布
huiyayaya的博客
03-18 1687
Pytorch使用不确定算法——Avoiding nondeterministic algorithms。CUDA卷积优化——CUDA convolution benchmarking。3点注意检查自己代码是否使用DataLoader。1跟2，直接复制下面的代码，全网最全（自认为）4、自己代码是否使用随机排列数据集。4、自己代码是否使用随机排列数据集。3、数据加载DataLoader。将shuffle=False。2、训练使用不确定的算法。最后附上二次运行的结果！类似于下面这种注释掉。
pytorch 复现训练结果
qq_42527487的博客
06-05 1351
最近工作需要，查了一些资料，如何复现训练结果，现做个记录，如有不完整，还请指教 1、设置随机种子 torch.manual_seed(seed) torch.cuda.manual_seed_all(seed) np.random.seed(seed) random.seed(seed) 2、关于cudnn 2.1 torch.backends.cudnn.enabled = Fals...
pytorch lstm 加载数据集
07-16
### 回答1： 在PyTorch中加载数据集到LSTM模型需要进行以下几个步骤： 1. 数据预处理：将原始数据集转化为模型能够处理的格式。这通常包括将文本数据转化为数字表示（如词向量或索引），对数据进行切割或填充以保证输入序列的长度一致。 2. 创建数据加载器：使用PyTorch的`Dataset`和`DataLoader`来创建一个能够按批次加载数据的对象。`Dataset`用于保存预处理后的数据，`DataLoader`提供可迭代的数据加载接口。 3. 定义LSTM模型：使用PyTorch的`nn.LSTM`或`nn.GRU`等RNN层初始化LSTM模型，并定义其他层（如全连接层）以及相关超参数。可以根据任务需求自定义模型结构。 4. 设置优化器和损失函数：选择合适的优化器（如`torch.optim.Adam`）和损失函数（如交叉熵损失`torch.nn.CrossEntropyLoss`）进行模型训练。 5. 训练模型：通过遍历数据加载器中的每个批次，将数据输入到LSTM模型中，并计算模型输出与真实标签之间的损失。通过反向传播和优化器进行参数更新，持续迭代直到达到指定的训练轮数或达到预定义的停止准则。 6. 模型评估：使用测试集评估训练好的模型，在测试数据上计算模型的准确率、损失等指标。 7. 模型应用：使用训练好的模型对新样本进行预测，获取模型对输入的判断结果。 以上是基本的步骤，具体实现中还可能涉及到数据增强、学习率调整、超参数搜索等技术手段来提高模型性能和鲁棒性。 ### 回答2： 加载数据集到PyTorch LSTM模型需要按照以下步骤进行： 1. 导入所需的库和模块： ```python import torch from torch.nn import LSTM from torch.utils.data import Dataset, DataLoader ``` 2. 创建一个自定义的数据集类，继承`torch.utils.data.Dataset`，并实现`__len__`和`__getitem__`方法。在`__getitem__`方法中，根据索引加载相应的数据和标签，然后返回： ```python class MyDataset(Dataset): def __init__(self, data): self.data = data def __len__(self): return len(self.data) def __getitem__(self, index): x = self.data[index][0] # 加载输入数据 y = self.data[index][1] # 加载标签数据 return x, y ``` 3. 准备数据集并创建数据加载器： ```python dataset = MyDataset(data) # 创建自定义数据集实例，其中data是你的数据集 dataloader = DataLoader(dataset, batch_size=batch_size, shuffle=True) # 创建数据加载器，设置批处理大小和是否打乱数据 ``` 4. 定义LSTM模型： ```python class LSTMModel(torch.nn.Module): def __init__(self, input_dim, hidden_dim, output_dim): super(LSTMModel, self).__init__() self.hidden_dim = hidden_dim self.lstm = LSTM(input_dim, hidden_dim) self.fc = torch.nn.Linear(hidden_dim, output_dim) def forward(self, x): lstm_out, _ = self.lstm(x) out = self.fc(lstm_out[:, -1, :]) return out ``` 5. 实例化LSTM模型并定义损失函数与优化器： ```python model = LSTMModel(input_dim, hidden_dim, output_dim) # input_dim为输入维度，hidden_dim为LSTM隐藏层维度，output_dim为输出维度 criterion = torch.nn.CrossEntropyLoss() optimizer = torch.optim.Adam(model.parameters(), lr=learning_rate) ``` 6. 进行训练循环： ```python for epoch in range(num_epochs): for i, (inputs, labels) in enumerate(dataloader): optimizer.zero_grad() outputs = model(inputs) loss = criterion(outputs, labels) loss.backward() optimizer.step() ``` 通过上述步骤，我们可以将数据集加载到PyTorch LSTM模型中，并进行训练。请根据实际情况自行填充数据集的具体内容和训练参数。 ### 回答3： 使用PyTorch加载数据集并应用于LSTM模型的一般步骤如下： 1. 首先，确保已经安装了必要的软件包，包括PyTorch和其他可能需要的库。 2. 定义数据集的格式。LSTM模型通常用于序列数据，例如时间序列数据或文本数据。序列数据通常由输入序列和与之对应的目标序列组成。因此，你需要定义输入和目标序列的结构。 3. 读取数据集。根据你的实际情况，你可能需要从文件中读取数据，或从数据库中提取数据。确保将数据转换为PyTorch所需要的张量类型。 4. 将数据集分割为训练集、验证集和测试集。划分数据集是为了评估模型的性能和对模型进行调参。通常，大部分数据用于训练，一部分用于验证，少量用于测试。 5. 创建数据加载器。PyTorch提供了数据加载器，它可以批量地加载数据，并在训练过程中提供数据。数据加载器还支持数据的随机化和并行处理，可以提高模型的训练效率。 6. 在加载数据之前，你可能需要进行一些数据预处理，例如归一化或标准化。确保进行必要的预处理操作。 7. 在运行训练循环之前，调整数据的大小和形状，以便与LSTM模型兼容。LSTM模型通常需要3D张量作为输入，其中第一维表示序列数量，第二维表示时间步长，第三维表示每个时间步的特征。 8. 创建LSTM模型并定义其结构。在PyTorch中，你可以使用nn.LSTM类创建LSTM模型，并定义输入和隐藏层的维度等参数。 9. 将加载器中的数据送入模型进行训练。在每个训练迭代中，通过调用模型的前向传播方法获取输出，并与目标序列进行比较来计算损失。 10. 在每个迭代周期后，更新模型的权重，以使其逐渐收敛到更好的解决方案。你可以使用梯度下降等优化算法来更新权重。 11. 在训练过程中，使用验证集监控模型的性能，并根据需要进行调整。 12. 最后，使用测试集评估模型的性能。计算模型在测试集上的损失和准确率等指标，以获得对模型性能的评估。 希望以上步骤能够为您提供关于如何使用PyTorch加载数据集并应用于LSTM模型的基本指导。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值