模型中千万别在forward中直接使用F.dropout2d，要使用nn.Dropout

最新推荐文章于 2022-01-11 11:44:15 发布
最新推荐文章于 2022-01-11 11:44:15 发布
阅读量906 收藏 4
点赞数 5
分类专栏： pytorch基础 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40970506/article/details/120924371
版权

 今天在模型推理时，对模型设置为model.eval()之后，每次结果都不一样，感到很奇怪，经过调试找到原因，采用F.dropout2d时（下载的别人的模型），在推理时，需要手动将p设置为0，否则就每次不一样了，为了便于模型管理采用nn.Dropout，因为eval()，会自动处理dropout的。

土士
关注
  • 5
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
PyTorch 中的 dropout Dropout2d Dropout3d
轮子去哪儿了
04-27 9608
文章目录PyTorch 中的 dropout1. [Pytoch 说明文档官网 PyTorch documentation 链接](https://pytorch.org/docs/stable/index.html)1.1. `torch.nn` 中的 `dropout`1.1. `torch.nn` 和 `torch.nn.functional` 中的 `dropout` 功能相同。2. [知乎：PyTorch 中，nn 与 nn.functional 有什么区别？](https://www.zhi
nn.Dropout和F.dropout的理解与使用
qq_45770988的博客
05-08 1051
Dropout是减少过拟合并提高模型泛化能力的一个大杀器。一般只有训练时才使用 Dropout，在验证或测试时不需要使用 Dropout对于神经网络单元，按照一定的概率将其暂时从网络中丢弃.（随机丢弃神经元）Dropout一般用在全连接神经网络映射层之后，如代码的nn.Linear(20, 30)之后每次做完dropout，相当于从原始的网络中找到一个更瘦的网络，如下图所示：在训练CNN网络的时候，常常会使用dropout来使得模型具有更好的泛化性，并防止过拟合。
F.dropout()与nn.dropout()
weixin_42979152的博客
02-09 1万+
关于pytorch的nn.functional.dropout() 和 nn.dropout() nn.functional.dropout() pytorch API对nn.functional.dropout()描述如上图，training值默认为false。 如果仅仅使用F.dropout(x)而不改变training值，是没有启用dropout的。 nn.dropout() 对nn.dropout()描述如上图。 踩坑体验： 在textcnn相关代码中： 直接使用out = F.dropout(
pytorch中torch.nn.dropout和torch.nn.F.dropout区别
热门推荐
图灵是我
06-13 2万+
其实这二者在功能上并没有本质的区别，如果我们看nn.dropout的代码，我们会发现 class Dropout(_DropoutNd): ........ @weak_script_method def forward(self, input): return F.dropout(input, self.p, self.training, self.inplac...
【Pytorch基础】torch.nn.dropout和torch.nn.F.dropout区别
sxl的博客
08-12 1100
  这二者在功能上并没有本质的区别，如果我们看nn.dropout的代码，我们会发现 class Dropout(_DropoutNd): ........ @weak_script_method def forward(self, input): return F.dropout(input, self.p, self.training, self.inplace)   也就是说其实nn.dropout是调用的F.dropout的函数实现的。   而它们在使用的时候是
F.dropout,nn.Dropout的验证使用，参数training,inplace
weixin_61445075的博客
01-11 6741
F.dropout,nn.Dropout的验证使用，参数training,inplace
浅析PyTorch中nn.Module的使用
09-18
在这个方法中，你可以创建并添加层（`nn.Module`的子类，如`nn.Linear`, `nn.Conv2d`等），以及其他需要的变量。 2. **_parameters**：这是一个字典，存储了所有直接由用户设置的`Parameter`对象，这些参数通常代表...
pytorch 中的重要模块化接口nn.Module的使用
12-20
在`forward()` 方法中，可以使用 `F.relu()` 或 `F.sigmoid()` 等函数，它们是`torch.nn.functional`模块提供的函数，可以方便地应用各种激活函数。此外，还可以使用`F.max_pool2d()` 进行最大池化操作，以及其他...
Pytorch 实现dropout解决过拟合.zip
01-22
此外，还可以使用`nn.Dropout2d`和`nn.Dropout3d`来分别应用于二维和三维输入（如卷积神经网络的特征图）。这些版本的Dropout会在每个通道上独立应用，而不是像`nn.Dropout`那样在整个张量上。 总结一下，Dropout是...
精准制导：正则化技术在提升YOLO模型性能中的应用
最新发布
07-19
通过在模型定义时添加`nn.Dropout`层，并设置合适的丢弃率（如0.5），可以在训练过程中随机“丢弃”一部分神经元，从而减少过拟合。 ```python class YOLO(nn.Module): def __init__(self): super(YOLO, self)...
pytorch 使用加载训练好的模型做inference
09-17
`k.replace('module.', '')`这行代码是为了防止使用`torch.nn.DataParallel`训练的模型在加载时出现错误，特别是当模型是从多GPU环境迁移到单GPU或CPU环境时。 ### 步骤三：设置模型为推理模式 在推理之前，还需要...
torch使用DataParallel并行时，模型使用Forward函数注册属性变量丢失的问题（表现为局部变量而不是类属性）
weixin_44839047的博客
09-24 379
torch使用DataParallel并行时，模型使用Forward函数注册属性变量丢失的问题（表现为局部变量而不是类属性） 如标题表达，关注’m’属性和’y’属性的变化。 注意到通过调用并行模型的forward函数注册self.m变量并没有成功成为类的属性变量。 但是通过自己实现的test函数注册的self.y变量成功成为了类属性变量。 原理未知，望大佬赐教 xxx.py文件内容 测试结果 ...
dropout
Leo_Adam的博客
06-10 215
取平均的作用： 先回到标准的模型即没有dropout，我们用相同的训练数据去训练5个不同的神经网络，一般会得到5个不同的结果，此时我们可以采用 “5个结果取均值”或者“多数取胜的投票策略”去决定最终结果。例如3个网络判断结果为数字9,那么很有可能真正的结果就是数字9，其它两个网络给出了错误结果。这种“综合起来取平均”的策略通常可以有效防止过拟合问题。因为不同的网络可能产生不同的过拟合，取平均则有可能让一些“相反的”拟合互相抵消。dropout掉不同的隐藏神经元就类似在训练不同的网络，随机删掉一半隐藏神经元导
F.dropout（）的相关问题
immortal的小屋
07-14 2760
PyTorch 有哪些坑/bug？ ##错误！！ Class DropoutFC(nn.Module): def __init__(self): super(DropoutFC, self).__init__() self.fc = nn.Linear(100,20) def forward(self, input): out = self.fc(input) out = F.dropout(out, p=0.5)#就是这一句
机器学习——Dropout原理介绍
AIGC | 智能洞察，创造未来
07-09 2万+
**Dropout原理介绍** bp神经网络
防止过拟合-Dropout2d
xingghaoyuxitong的博客
01-25 1766
Dropout的过程 1）按照概率p，对每个输入channel进行伯努利采样，随机采样到的channel置为0，输出 2）将1）的输出结果乘以1/(1-p)就是做了dropout的结果 代码验证： #%% import torch import torch.nn as nn #%% 模型 conv1 = nn.Conv2d(2,2,kernel_size=3,stride=1,padding=0) m = nn.Dropout2d(p=0.4) #%% 数据准备 N = 2 C = 2 H .
Tensorflow中dropout和batch normalization
Tcorpion的博客
01-04 2598
直接上代码探讨： def batch_norm_layer(x, train_phase, scope_bn):##x is input-tensor, train_phase is tf.Variable(True/False) with tf.variable_scope(scope_bn): beta = tf.Variable(tf.constant(0.0, s
matlab调试卷积深度置信网络CDBN-master的时候出现crbm_forward2D_batch_mex没法识别（解决）
菲菲家的吴先森
05-04 2206
今天帮群里的一个群友调matlab代码，CDBN，卷积深度置信网络，他说的是这个错误改了好几天都没法改，其实就是matlab如何调用c语言的问题，挺简单的。下面说说我的做法和如何在matlab中调用c语言的问题。 有一个通俗的比喻， 如果程序设计语言是车，那么C 语言就是全能手， C十十语言是加强版的C 语言， MATLAB是科学 家用来完成特殊任务的工具。作为使用MATLAB 的科学家和
torch.nn.dropout和torch.nn.F.dropout
eight_Jessen的博客
08-11 1014
import torch import torch.nn as nn class Model1(nn.Module): def __init__(self,p=0.0): super().__init__() self.p = p def forward(self,inputs): return nn.functional.dropout(inputs,p=self.p,training=True) class Modul
nn.dropout2d
09-20
nn.Dropout2d是PyTorch中的一个函数，用于在卷积神经网络（CNN）中进行2D的随机失活操作。在CNN中，通过在每个训练批次中随机将部分神经元的输出置为零，Dropout2d可以有效地减少过拟合问题。具体而言，Dropout2d会...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值