【Pytorch】根据条件修改张量值，避免反向传播在位操作

已于 2022-08-04 15:22:37 修改
阅读量753 收藏 1
点赞数
文章标签： pytorch 人工智能 python
于 2022-08-04 15:22:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41682740/article/details/126159824
版权

        最近在修改模型时想要实现：根据一个张量上不同元素的值符合一定条件而选择不同的值

A[A>0]=B[A>0]
#对A上大于0的元素替换为B上对应位置元素

于是使用布尔索引的方式进行赋值，发现出现如下报错：

 RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation

是因为布尔索引是属于在位操作，在模型反向传播时无法求得梯度。

参考pytorch学习经验（六）torch.where（）：根据条件修改张量值 - 百度文库

可以使用torch.where()来解决无法反向传播的问题：

A=torch.where(A>0,B,A) 
#对A上大于0的元素替换为B上对应元素，其余不变
Maple_66
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Pytorch学习笔记（一）torch.where()：根据条件修改张量
weixin_42860775的博客
05-06 964
条件判断时，张量特定值的修改。运用到了torch.where()的方法。
pytorch-detach阻断反向传播，本质是减少不必要变量的梯度计算，加速训练
xingghaoyuxitong的博客
08-30 1248
需求：在生成对抗网络中，会有生成器和判别器分别训练的过程，为了避免一些不必要的计算，我们使用detach阻隔反向传播。 上图所示，完整训练一次的过程包括了判别器和生成器的训练 判别器的训练： #判别器预测 pred_fake = net_d.forward(fake_ab.detach()) pred_real = net_d.forward(real_ab) #判别器损失 loss_d_fake = criterionGAN(pred_fake, False)...
PyTorch训练模型时，给优化器传入多余参数，这些多余的参数并不参与前向传播，因而也无法在反向传播中训练更新
敲代码的小风
03-13 1018
代码展示: # 测试训练模型时，模型有多余未参与传播的参数 import torch import torch.nn as nn torch.manual_seed(seed=20200910) class Model(torch.nn.Module): def __init__(self): super(Model,self).__init__() self.conv1=torch.nn.Sequential( # 输入torch.Size([64, 1, 2
解答：pytorch 通过索引赋值后 梯度还能正常反向传播吗
artistkeepmonkey的博客
05-31 3496
先上测试代码 if __name__=='__main__': # scene_graph_token() tensor1 = torch.rand(4,4) #tensor1.requires_grad_(True) tensor2 = torch.rand(4) tensor2.requires_grad_(True) opt=torch.optim.Adam([tensor2],lr=0.1) for i in range(50):
PyTorch中使用inplace operation导致无法梯度反向传播
qq_45740547的博客
04-16 2849
PyTorch中使用inplace operation导致无法梯度反向传播，以及解决方案
pytorch中的自定义反向传播,求导实例
09-18
今天小编就为大家分享一篇pytorch中的自定义反向传播,求导实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
PyTorch: 梯度下降及反向传播的实例详解
09-18
在机器学习领域，优化模型参数是一项关键任务，而梯度下降和反向传播是实现这一目标的常用技术。本文以PyTorch为平台，详细解释了这两种方法在实践中的应用。 首先，我们要理解线性模型的基本概念。线性模型是一种...
pytorch .detach() .detach_() 和 .data用于切断反向传播的实现
12-23
或者值训练部分分支网络，并不让其梯度对主网络的梯度造成影响，这时候我们就需要使用detach()函数来切断一些分支的反向传播 1 detach()[source] 返回一个新的Variable，从当前计算图中分离下来的，但是仍指向原...
torch.where能否传递梯度
DCGJ666的博客
12-21 1118
**torch.where（conditions,x,y）**可以传递梯度 **tensor.where(conditions)**不能传递梯度，是非差分函数
【Torch API】pytorch中的torch.where()函数详解
devil_son1234的博客
01-04 1万+
pytorch中的torch.where()函数详解
pytorch小技巧——修改tensor数值且不影响反向传播
beilizhang的博客
02-27 4401
参考链接 https://tangshusen.me/Dive-into-DL-PyTorch/#/chapter02_prerequisite/2.3_autograd tensor.data 如果我们想要修改tensor的数值，但不希望被autograd记录（即不会影响反向传播），可以对tensor.data进行操作。例如： x = torch.ones(1,requires_grad=True) print(x.data) # 还是一个tensor print(x.data.requires_g
Pytorch在训练时冻结某些层使其不参与反向传播
豆子
11-21 1742
笔记摘抄：https://blog.csdn.net/qq_36429555/article/details/118547133 定义网络 # 定义一个简单的网络 class net(nn.Module): def __init__(self, num_class=10): super(net, self).__init__() self.fc1 = nn...
pytorch冻结模型的权重，不反向传播
qq_41166909的博客
04-07 2174
以下是一个简单的示例代码，展示如何固定模型权重并不进行反向传播，只对最后一层全连接层的权重进行更新。进行前向计算，只有最后一层全连接层的参数需要更新，因此只对这一层的参数进行了反向传播和优化。通过以上步骤，即可冻结模型权重，只对需要更新的参数进行优化。的参数进行优化，以避免对不需要更新的参数进行无效的计算。4.在进行训练时，只对需要更新的参数进行反向传播和优化。为例，表示只对模型中最后一层全连接层的参数进行更新。3.在训练过程中，将需要更新的参数传入优化器中。2.对于需要更新的参数，将其。
torch.where()函数解读
qq_35608277的博客
12-03 784
torch.where()函数的作用是按照一定的规则合并两个tensor类型。 >>> import torch >>> a=torch.randn(3,5) >>> b=torch.ones(3,5) >>> a tensor([[-0.0310, 1.5895, 1.6003, -1.7584, 1.1478], [ 0.6773, 0.7763, 0.5024, 0.4952, 0.4198],
tf.SparseTensor
weixin_36670529的博客
06-07 3400
目录 1、__init__ 2、__div__ 3、__mul__ 4、__truediv__ 5、eval() 6、from_value 7、get_shape tf.SparseTensor 函数 SparseTensor 类 定义在：tensorflow/python/framework/sparse_tensor.py. 参见指南：稀疏张量>稀疏张量表示 ......
torch非标量的反向传播
Data _designer
05-10 564
y = f(x) 人话就是y为scalar的时候可以对张量x求导，但是当y计算出来也是个标量的时候会报错 import numpy as np import torch # f(x) = a*x**2 + b*x + c x = torch.tensor([[0.0,0.0],[1.0,2.0]],requires_grad = True) # x需要被求导 a = torch.tensor(1.0) b = torch.tensor(-2.0) c = torch.tensor(1.0)
pytorch每日一学49(torch.where())根据t指定条件更改指定tensor中的数值
Fluid_ray的博客
12-16 1万+
第49个方法 torch.where(condition, x, y) → Tensor 此方法是将x中的元素和条件相比，如果符合条件就还等于原来的元素，如果不满足条件的话，那就去y中对应的值，公式为 举个例子就清楚了，官方例子如下： >>> x = torch.randn(3, 2) >>> y = torch.ones(3, 2) >>> x tensor([[-0.4620, 0.3139], [ 0.3898, -0.719
Pytorch 自定义激活函数前向与反向传播 Tanh
jasneik的博客
04-04 2895
看完这篇，你基本上可以自定义前向与反向传播，可以自己定义自己的算子 文章目录Tanh公式求导过程优点：缺点：自定义Tanh与Torch定义的比较可视化 import matplotlib import matplotlib.pyplot as plt import numpy as np import torch import torch.nn as nn import torch.nn.functional as F %matplotlib inline plt.rcParams['figure.fi
Pytorch在训练时冻结某些层使其不参与训练(更新梯度)
热门推荐
qq_36429555的博客
07-07 2万+
Pytorch在训练时冻结某些层 首先，我们知道，深度学习网络中的参数是通过计算梯度，在反向传播进行更新的，从而能得到一个优秀的参数，但是有的时候，我们想固定其中的某些层的参数不参与反向传播。比如说，进行微调时，我们想固定已经加载预训练模型的参数部分，只想更新最后一层的分类器，这时应该怎么做呢。 定义网络 # 定义一个简单的网络 class net(nn.Module): def __init__(self, num_class=10): super(net, self).__ini
pytorch 反向传播
最新发布
11-10
以下是一个简单的PyTorch反向传播的例子： ```python import torch # 定义输入和输出 x = torch.tensor([1.0, 2.0, 3.0, 4.0], requires_grad=True) y = torch.tensor([2.0, 4.0, 6.0, 8.0], requires_grad=True) # 定义模型 w = torch.tensor([0.0, 0.0, 0.0, 0.0], requires_grad=True) b = torch.tensor(0.0, requires_grad=True) # 定义损失函数 loss_fn = torch.nn.MSELoss() # 定义优化器 optimizer = torch.optim.SGD([w, b], lr=0.01) # 训练模型 for epoch in range(100): # 前向传播 y_pred = torch.dot(w, x) + b loss = loss_fn(y_pred, y) # 反向传播 loss.backward() # 更新参数 optimizer.step() # 清空梯度 optimizer.zero_grad() # 输出最终结果 print("w = ", w) print("b = ", b) ``` 该例子中，我们定义了一个简单的线性模型，使用均方误差作为损失函数，使用随机梯度下降作为优化器。在训练过程中，我们首先进行前向传播计算出预测值，然后计算损失并进行反向传播，最后更新模型参数。最终输出训练得到的参数w和b。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值