【迁移学习(Transfer L)全面指南】不需要时关闭autograd的方法：torch.no_grad

最新推荐文章于 2024-09-18 22:37:32 发布
最新推荐文章于 2024-09-18 22:37:32 发布
阅读量393 收藏
点赞数 2
分类专栏： 迁移学习(Transfer L)全面指南 文章标签： 迁移学习 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43838785/article/details/121001802
版权
本文详细解释了在PyTorch中为何及如何使用torch.no_grad上下文管理器来关闭autograd，以避免在验证过程中不必要的计算图构建和梯度累积，特别是在深度学习模型的验证阶段，这样做可以节省资源并防止过拟合。通过示例展示了在不需要梯度计算时如何利用这个工具，强调了在验证集上正确评估模型的重要性。
摘要由CSDN通过智能技术生成

从训练循环中，你注意到只能在train_loss上调用backward。因此，误差只会根据训练集来进行反向传播。验证集用于在未用于训练的数据上对模型输出的准确性进行独立的评估。

好奇的读者此时可能会有一个问题。我们对模型进行了两次评估（一次在train_t_u上，一次在val_t_u上），然后调用一次backward。这不会使autograd变得混乱吗？验证集评估过程中生成的值不会影响backward吗？

幸运的是，事实并非如此。训练循环中的第一行在train_t_u上对模型进行评估以产生train_t_p。然后用train_t_p计算train_loss，创建一个链接从train_t_u到train_t_p再到train_loss的计算图。当在val_t_u上再次评估模型然后生成val_t_p和val_loss时，将创建一个单独的计算图，该图链接从val_t_u到val_t_p再到val_loss。单独的张量通过相同的函数model和loss_fn运行，生成了单独的计算图，如下图所示。

在这里插入图片描述
本图显示了如果计算图有两个损失，对其中一个调用.backward时梯度如何在计算图中传播

这两个图唯一的共同点是参数。当在train_

了解本专栏 订阅专栏 解锁全文 超级会员免费看
理想不闪火
关注
专栏目录
订阅专栏
迁移学习原理与代码实战案例讲解
程序员光剑
05-21 486
1. 背景介绍 1.1 机器学习的局限性 传统的机器学习方法通常需要大量的标注数据才能训练出有效的模型。然而，在许多实际应用场景中，获取大量的标注数据往往非常困难且成本高昂。例如，在医疗图像分析领域，获取大量的标注数据需要专业的医生进行标注，这既费时又费力。
在Pytorch深度学习框架中，什么时候应该使用torch.no_grad()？
qq_24761287的博客
03-25 2981
在 PyTorch 中，当我们执行一些不需要梯度计算的操作时，我们可以通过将代码包裹在上下文管理器中来减少内存的消耗并提高代码执行效率。具体来说，是一个上下文管理器，它会在执行被包裹的代码块时关闭 PyTorch 张量的自动求导功能。这意味着，被包裹的代码块中的所有计算操作都不会被记录在 PyTorch 的计算图中，从而减少了计算图的大小，也避免了不必要的内存消耗。使用。
pytorch中设置不要记录梯度传播信息的三种方式（torch.no_grad/@torch.no_grad/set_grad_enabled）
qq_43391414的博客
05-07 2530
这个东西和那个with torch.no_grad()一样的作用。
详解 pytorch 中的 autograd.grad() 函数
waitingwinter的博客
04-26 5万+
我们在用神经网络求解PDE时， 经常要用到输出值对输入变量（不是Weights和Biases）求导； 在训练WGAN-GP 时， 也会用到网络对输入变量的求导。 以上两种需求， 均可以用pytorch 中的autograd.grad() 函数实现。 autograd.grad(outputs, inputs, grad_outputs=None, retain_graph=None, cr...
torch.no_grad()降低显存占用
芒果干的博客
02-04 2761
这个函数一般在测试的时候使用，用来降低显存占用 在训练的时候我们需要学习weight和bias的梯度，但是在测试的时候我们不需要获取他们的梯度，因此可以节省大量的显存 在训练时我们crop成了一个一个块，例如size为256，在测试时如果将整幅图片都送入网络，有时会out of memory，因此需要no_grad语句 使用很简单，在测试时将测试代码放到他下面即可 with torch.no_grad(): # 可以显著的降低显存 for i, img in enumerate(tqdm(test
pytorch中required_grad和detach的澄清
york1996的博客
10-25 5655
最近和别人讨论，发现了自己以前的认识错误的地方。 代码中的detach和required_grad的引入是减少了计算量，required_grad=false会计算误差，不计算wb的梯度（原因在于一个网路如果是ABC层这样的连接方式，B不求梯度，但是A还是会获得梯度，这就需要计算B的误差，从而传播到A，而计算B中参数的梯度就没有必要了），而detach会切断反向传播，不计算误差也不计算梯度。之所...
Pytorch的model.train() & model.eval() & torch.no_grad() & 为什么测试的时候不调用loss.backward()计算梯度还要关闭梯度
hxxjxw的博客
08-01 2536
使用PyTorch进行训练和测试时一定注意要把实例化的model指定train/eval model.train() 启用 BatchNormalization 和 Dropout model.eval() 不启用 BatchNormalization 和 Dropout 训练完train_datasets之后，model要来测试样本了。在model(test_datasets)之前，需要加上model.eval(). 否则的话，有输入数据，即使不训练，它也会改变权值。这是model...
机器学习之直推式迁移学习（Transductive Transfer Learning）
JustinMars的博客
05-24 129
直推式迁移学习（Transductive Transfer Learning）是一种特殊的迁移学习方法，它主要关注的是在特定的目标任务上的表现，通过利用源任务的知识来提高目标任务的性能。与传统的迁移学习不同，直推式迁移学习假设目标任务的测试数据在训练过程中是可用的，并利用这些数据来改进模型的泛化能力。
迁移学习(Transfer Learning) 原理与代码实例讲解
程序员光剑
06-05 904
迁移学习(Transfer Learning) - 原理与代码实例讲解 1.背景介绍 1.1 什么是迁移学习 迁移学习(Transfer Learning)是机器学习中的一种重要方法,其目的是将已经学习过的知
3.2 迁移学习（transfer learning）
羊藤枝的博客
07-05 727
%matplotlib inline 3.2 迁移学习（transfer learning） 关于迁移学习的一些基础知识可以参考王晋东的迁移学习手册：https://max.book118.com/html/2018/0902/5144341211001312.shtm 迁移学习的意义何在？ 在实践中，很少有人从头开始训练整个卷积网络（随机初始化），因为拥有足够大小的数据集是相对罕见的。相反，通常...
【pytorch】 with torch.no_grad():用法详解
热门推荐
sazass的博客
05-11 15万+
在pytorch写的网络中，with torch.no_grad():非常常见。 首先，关于python中的with： with 语句适用于对资源进行访问的场合，确保不管使用过程中是否发生异常都会执行必要的“清理”操作，释放资源，比如文件使用后自动关闭／线程中锁的自动获取和释放等。 例如： file = open("１.txt") data = file.read() file.close() 存在问题如下： （１）文件读取发生异常，但没有进行任何处理； （２）可能忘记关闭文件句柄； 改进： try:
torch学习笔记(5)——autograd
ZRX_GIS
01-14 711
import torch import torch.nn as nn import numpy as np import matplotlib.pyplot as plt # autograd # fn1:torch.autograd.backward()自动求取梯度 # 参数：tensors:用于求导的tensor；retain_graph:保存计算图；create_graph:创建导数计算图，用于高阶求导；grad_tensors：多梯度权重 # fn2:torch.autograd.grad()自动
python实验命令行常用操作
敲代码的小风
12-12 415
conda deactivate conda activate ssd_cxq conda activate dlwpt_book conda activate ssd4pytorch1_2_0 python import torch print(torch.__version__) print(torch.cuda.is_available()) nvcc --version import os os.environ["KMP_DUPLICATE_LIB_OK"]="True" .
故障诊断迁移学习项目DDC（保姆教程）
bynacqt的博客
09-08 765
本项目从零开始搭建深度领域混淆（Deep Domain Confusion，DDC）算法。项目包括加载CWRU轴承原始信号，信号处理、数据集制作，模型搭建，DDC域混淆算法设计、特征可视化，混淆矩阵等流程来帮助读者学习基于迁移学习的故障诊断。学懂本项目即可了解故障诊断之迁移学习的基本流程。本项目中所有程序代码包含详细的注释，适合新生小白学习。
【深度学习】（3）--损失函数
最新发布
m0_74896766的博客
09-18 1134
本篇介绍了部分损失函数： 1. L1Loss损失函数：通常用于回归任务中。 2. NLLLoss损失函数：在多分类问题中广泛应用。 3. MSELoss损失函数：在多种回归任务中表现出色。 4. BCELoss损失函数：广泛应用于各类二分类任务中。 5. CrossEntropyLoss交叉熵损失函数：广泛应用于多分类问题中。
深度学习：数据集处理简单记录
qq_41298763的博客
09-12 217
上述是生成一个简单数据集代码，最后的features的shape为torch.Size([1000, 2])，labels的shape为torch.Size([1000, 1])。注意数据集的所有数据都是tensor张量，用于在gpu上计算.上述为调用torch.utils.data中的Dataset和DataLoader类应用于自己的数据集，来训练模型。上述为训练模型时的数据增强代码（主要是裁剪+翻转），用于提高模型的鲁棒性。需要注意训练模型时候的模型输入的图片需要尺寸统一且为tensor格式。
点云深度学习系列：Sam2Point——基于提示的点云分割
qq625924821的博客
09-11 768
据作者了解，其展示的SAM 在 3D 中最真实的实现，这可能作为未来快速 3D 分割研究的起点。通过将 3D 数据表示为多向视频，SAM2POINT 支持各种类型的提示（3D 点、框和掩码），并在各种 3D 场景（3D 对象、室内场景、室外环境和原始稀疏 LiDAR）中表现出强大的泛化能力。考虑到 2D 和 3D 之间的域差距，大多数现有工作将 3D 数据表示为其 2D 对应物作为 SAM 的输入，并将分割结果反向投影到 3D 空间，这种模式转换会带来显著的处理复杂性，从而阻碍高效实施；
《深度学习》深度学习 框架、流程解析、动态展示及推导
wx_AHao1004Y的博客
09-12 1603
深度学习是一种基于人工神经网络架构进行机器学习的技术方法。它模拟人类大脑的神经网络结构和工作原理，通过多层次的神经元网络，对大量的输入数据进行处理和分析，从而实现对数据的自动学习和抽象表示，进而实现对复杂问题的解决和预测。 深度学习的核心是深度神经网络，它由多个隐藏层组成，每个隐藏层包含多个神经元节点。每个神经元节点都与上一层和下一层的神经元节点相连，通过对这些节点之间的连接权重进行调整，使得网络能够对输入数据进行有效的学习和表示。
RuntimeError: set_sizes_contiguous is not allowed on a Tensor created from .data or .detach(). If your intent is to change the metadata of a Tensor (such as sizes / strides / storage / storage_offset) without autograd tracking the change, remove the .data / .detach() call and wrap the change in a `with torch.no_grad():` block. For example, change: x.data.set_(y) to: with torch.no_grad(): x.set_(y)
06-03
这个错误是由于你在使用 PyTorch 的时候，尝试使用`.data`或`.detach()`方法修改了Tensor的元数据，但这些方法不能修改元数据的同时不被autograd跟踪。 为了解决这个问题，你可以使用`with torch.no_grad():`方法将...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

理想不闪火

你的鼓励将是我最大的动力！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值