torch.set_grad_enabled(False)

最新推荐文章于 2023-03-14 23:42:02 发布
最新推荐文章于 2023-03-14 23:42:02 发布
阅读量2.2k 收藏 1
点赞数
分类专栏： pytorch python相关 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35037684/article/details/118958253
版权
深度学习 同时被 3 个专栏收录
121 篇文章 8 订阅
订阅专栏
python相关
99 篇文章 6 订阅
订阅专栏
pytorch
21 篇文章 1 订阅
订阅专栏

volatile是用来在验证或者测试的时候将输入设置成volatile，这样后继几点全部都被设置成volatile，也就是不需要自动求导。

0.4.0以后采用torch.set_grad_enabled()来替代这种用法

但是torch.set_grad_enabled()在使用的时候是设置一个上下文环境，也就是说只要设置了torch.set_grad_enabled(False)那么接下来所有的tensor运算产生的新的节点都是不可求导的，这个相当于一个全局的环境，即使是多个循环或者是在函数内设置的调用，只要torch.set_grad_enabled(False)出现，则不管是在下一个循环里还是在主函数中，都不再求导，除非单独设置一个孤立节点，并把他的requires_grad设置成true。

一位不愿暴露自己的小可爱
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
torch.cuda.is_available()返回False的问题解决
04-02
torch.cuda.is_available()返回False的问题解决
one hot编码：`torch.Tensor.scatter_()`函数用法详解
01-07
torch.Tensor.scatter_()是torch.gather()函数的方向反向操作。两个函数可以看成一对兄弟函数。gather用来解码one hot，scatter_用来编码one hot。 scatter_(dim, index, src) → Tensor dim (python:int) – 用来...
Pytorch 梯度、求导相关
qq_41021141的博客
11-05 473
计算图、叶子节点 和 计算节点 计算图：如下图所示，圆圈中的为数（Tensor或常数），方块中的为操作 叶子节点：不依赖于其他数的数，即没有前驱，如图中的w,x,b 计算节点：依赖于其他数计算得来的数，如图中的y 张量： torch.Tensor和torch.tensor() 区别：Tensor是一个类，所有tensor都是其实例，tensor()是一个函数。使用二者创建的tensor实例的默认dtype不同 import torch x = torch.Tensor([2, 3]) .
小白学Pytorch系列-- Torch API (4)
发呆的比目鱼的博客
03-14 1492
上下文管理器和有助于在本地禁用和启用梯度计算。有关其用法的更多详细信息，请参阅本地禁用梯度计算。这些上下文管理器是线程本地的，因此如果您使用线程模块等将工作发送到另一个线程，它们将无法工作。
PyTorch编程基础02--Variable类型和自动微分模块
weixin_44288092的博客
03-04 312
Variable类型是PyTorch中的另一个变量模型。它是由Autograd模块对张量进一步封装实现的。一旦张量（Tensor）被转换成Variable对象，便可以实现自动求导功能。 自动微分（Autograd）模块是构成神经网络训练的必要模块。在神经网络的反向传播过程中，Autograd模块基于正向计算的结果对当前参数进行微分计算，从而实现网络权重的更新。
pytorch中的model.eval() 和model.train()以及with torch.no_grad 还有torch.set_grad_enabled总结
a250225的博客
09-15 7874
一、pytorch中的model.eval() 和 model.train() 再pytorch中我们可以使用eval和train来控制模型是出于验证还是训练模式，那么两者对网络模型的具体影响是什么呢？ 1. model.eval() eval主要是用来影响网络中的dropout层和batchnorm层的行为。在dropout层保留所有的神经网络单元，batchnorm层使用在训练阶段学习得到的mean和var值。另外eval不会影响网络参数的梯度的计算，只不过不回传更新参数而已。所以eval模式要比wit
torch.cuda.is_available（）返回False解决方案
12-21
以下是一些可能导致 `torch.cuda.is_available()` 返回 `False` 的原因及解决方法： 1. **CUDA版本不兼容**：如描述中所述，Torch的特定版本可能只支持某些特定的CUDA版本。在案例中，作者的CUDA版本为10.0，但...
Pytorch训练过程中改变模型参数 requires_grad 属性
01-20
当模型在多个GPU上并行运行时，通常我们会使用`torch.nn.DataParallel`或`torch.nn.parallel.DistributedDataParallel`来实现数据并行。对于`DataParallel`，它会在后台创建一个基础模块的副本，并将它们分配到不同...
浅谈pytorch torch.backends.cudnn设置作用
12-20
在这种情况下，可以考虑只启用CuDNN而不开启基准测试，即`torch.backends.cudnn.enabled = True`和`torch.backends.cudnn.benchmark = False`，以避免频繁的算法搜索。 总之，理解和适当地调整`torch.backends....
DataLoader.py_torch数据_.DataLoader数据加载器_
10-02
torch.utils.data.DataLoader 数据加载器，结合了数据集和取样器，并且可以提供多个线程处理数据集在训练模型时使用到此函数，用来把训练数据分成多个小组，此函数每次抛出一组数据，直到把所有的数据都抛出。...
lbcnn.torch-master.zip_CNN_LBC_LBP CNN_becomeg53_torch
09-19
The LBC layer comprises of a set of fixed sparse pre-defined binary convolutional filters that are not updated during the training process, a non-linear activation function and a set of learnable ...
Tensorflow中的降维函数tf.reduce_*使用总结
01-21
tf.reduce_sum(input_tensor ， axis = None ， keep_dims = False ， name = None ， reduction_indices = None) 参数： input_tensor：要减少的张量。应该有数字类型。 axis：要减小的尺寸。如果为None（默认）...
Mnist-Torch_torch_Mnist-Torch_
10-03
with torch.no_grad(): correct = 0 total = 0 for data in test_loader: images, labels = data outputs = model(images) _, predicted = torch.max(outputs.data, 1) total += labels.size(0) correct +=...
[转载] set_grad_enabled(False) VS with no_grad()
先说一下，就简单地写点儿氵文，不是博客，只是我的笔记本
01-05 477
https://stackoverflow.com/questions/53447345/pytorch-set-grad-enabledfalse-vs-with-no-grad
pytorch中设置不要记录梯度传播信息的三种方式（torch.no_grad/@torch.no_grad/set_grad_enabled）
qq_43391414的博客
05-07 2488
这个东西和那个with torch.no_grad()一样的作用。
【学习笔记】关于volatile和0.4.0版本后的torch.set_grad_enabled()
zzzpy的博客
03-28 8434
volatile是用来在验证或者测试的时候将输入设置成volatile，这样后继几点全部都被设置成volatile，也就是不需要自动求导。 0.4.0以后采用torch.set_grad_enabled()来替代这种用法 但是torch.set_grad_enabled()在使用的时候是设置一个上下文环境，也就是说只要设置了torch.set_grad_enabled(False)那么接下来所...
PyTorch 重磅更新，不只是支持 Windows
AI科技大本营
04-25 4465
翻译 | 林椿眄出品 | AI 科技大本营（公众号ID：rgznai100）这次版本的主要更新一些性能的优化，包括权衡内存计算，提供 Windows 支持，24个基础分布，变量及数据类型，零维张量，张...
torch.set_grad_enabled(False);
最新发布
07-27
在调用torch.set_grad_enabled(False)之后，所有在该代码块中的操作都不会计算梯度。但是模型参数仍然会需要计算梯度。\[1\]这个函数可以用作上下文管理器或函数调用的方式来使用，它可以根据参数mode来启用或禁用...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一位不愿暴露自己的小可爱

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值