【Pytorch】根据条件修改张量值，避免反向传播在位操作

已于 2022-08-04 15:22:37 修改
阅读量723 收藏 1
点赞数
文章标签： pytorch 人工智能 python
于 2022-08-04 15:22:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41682740/article/details/126159824
版权

        最近在修改模型时想要实现：根据一个张量上不同元素的值符合一定条件而选择不同的值

A[A>0]=B[A>0]
#对A上大于0的元素替换为B上对应位置元素

于是使用布尔索引的方式进行赋值，发现出现如下报错：

 RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation

是因为布尔索引是属于在位操作，在模型反向传播时无法求得梯度。

参考pytorch学习经验（六）torch.where（）：根据条件修改张量值 - 百度文库

可以使用torch.where()来解决无法反向传播的问题：

A=torch.where(A>0,B,A) 
#对A上大于0的元素替换为B上对应元素，其余不变
Maple_66
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
pytorch中的自定义反向传播,求导实例
09-18
今天小编就为大家分享一篇pytorch中的自定义反向传播,求导实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
pytorch .detach() .detach_() 和 .data用于切断反向传播的实现
12-23
当我们再训练网络的时候可能希望保持一部分的网络参数不变，只对其中一部分的参数进行调整；或者值训练部分分支网络，并不让其梯度对主网络的梯度造成影响，这时候我们就需要使用detach()函数来切断一些分支的反向传播 1   detach()[source] 返回一个新的Variable，从当前计算图中分离下来的，但是仍指向原变量的存放位置,不同之处只是requires_grad为false，得到的这个Variable永远不需要计算其梯度，不具有grad。 即使之后重新将它的requires_grad置为true,它也不会具有梯度grad 这样我们就会继续使用这个新的Variable进行计算，后面当
PyTorch: 梯度下降及反向传播的实例详解
09-18
今天小编就为大家分享一篇PyTorch: 梯度下降及反向传播的实例详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
PyTorch中使用inplace operation导致无法梯度反向传播
qq_45740547的博客
04-16 2720
PyTorch中使用inplace operation导致无法梯度反向传播，以及解决方案
一些python的代码
qq_32651847的博客
04-28 193
文章目录11.30上午（squeeze）12.02下午（PIL和opencv读取图像的区别）晚上（reshape和view的区别）12.07上午（网络参数的加载与冻结）12.09上午(children和module）12.1112.16上午（ubuntu创建软链接）晚上（python路径引用的问题）12.20晚上（dataloader中的collate_fn问题——待解决）1.4上午（argparse的使用） 11.30 上午（squeeze） 一、squeeze会把所有的为1的维度都给压缩掉。 12.02
torch.where能否传递梯度
DCGJ666的博客
12-21 1073
**torch.where（conditions,x,y）**可以传递梯度 **tensor.where(conditions)**不能传递梯度，是非差分函数
【Torch API】pytorch中的torch.where()函数详解
devil_son1234的博客
01-04 9152
pytorch中的torch.where()函数详解
Pytorch torch.Where 和 torch.Gather
zhuguiqin1的专栏
09-07 580
Pytorch-Where torch.where(condition,x,y)→ Tensor 返回一个tensor，tensor的元素依据满足的条件从x或者y中的元素选择。 要求：condition、x，y可以broadcastable到相同的shape。返回值也是相同shape的矩阵 condition：条件矩阵，当元素为 True 时，填入 x 中对应的元素，否则填入 y 中对应的元素 x：condition中元素为 True 时将从 x 中选取元素 y：condition中元...
Pytorch中in-place操作相关错误解析及detach()方法说明
m0_49963403的博客
03-25 2232
detach方法的实例说明
【冰糖Python】PyTorch： Tensor 张量属性及相关操作
冰糖的小屋
03-21 1312
torch.Tensor.item() 用于将单个值的 Tensor 转换为 Python 数字
TensorFlow2.4（三）---- 张量的操作（数据处理_维度变换、数据取样，以鸢尾花数据为例）_适合python机器学习的最全最细讲解
qq_55476112的博客
05-22 1126
主要讲解了关于张量数据的操作，包括转置、拼接、形状转化一类的，还以鸢尾花数据为例讲解特定数值、特定行列的索引
PyTorch：tensor-张量维度操作（拼接、维度扩展、压缩、转置、重复……）
热门推荐
皮皮blog
10-22 5万+
张量维度操作（拼接、维度扩展、压缩、转置、重复……）-柚子皮- torch.cat(seq, dim=0, out=None) 多个tensor拼接 在指定的维度dim上对序列seq进行连接操作。 参数： seq (sequence of Tensors) - Python序列或相同类型的张量序列 dim (int, optional) - 沿着此维度连接张量 out (Tensor, optional) - 输出参数 例子： x = torch.randn(2, 3) x -0.5866 -0.
将tensor的某个数值改变
最新发布
qq_51177706的博客
09-23 283
【代码】将tensor的某个数值改变。
Tensorflow修改张量特定位置元素的值
CICI❤️的博客
10-02 2637
张量和array一样可以通过切片获取，但是张量不可以直接修改某个值。 可以理解为张量具有“只读”的模式。 如果按照数组修改某个值的方式处理的话，会报错： import tensorflow as tf tensor_1 = tf.constant([x for x in range(1,10)]) tensor_1[4] = 0 # TypeError: 'Tensor' object do...
张量的一些概念和用法
qq_38609777的博客
12-02 390
《PyTorch深度学习实践》完结合集_哔哩哔哩_bilibili Pytorch人工智能，从安装到论文实战与代码相结合_哔哩哔哩_bilibili 【PyTorch深度学习】Lesson6.动态计算图与梯度下降_哔哩哔哩_bilibili 张量是什么？ 在深度学习以及神经网络编程中，张量可以了看作多维数组，为啥要起一个张量的名字呢？因为我们需要处理的数据有零纬的（数），一维的（数组），二维的（矩阵），三维的（空间矩阵），以及很多维的，pytorch把他们统一起来，所以起名叫张量。 张量...
关于torch一些操作会不会使得梯度传播中断的疑惑：mask、abs等
weixin_43490422的博客
04-12 2966
1. mask操作 解答：pytorch 通过索引赋值后 梯度还能正常反向传播吗 版权声明：本文为CSDN博主「会写代码的孙悟空」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。 原文链接：https://blog.csdn.net/artistkeepmonkey/article/details/117420543 结论：能继续传播，不会中断。 2. abs PyTorch 的 abs 函数是否会打断梯度反向求导或者计算图 版权声明：本文为CSDN博主「HuanCa
pytorch小技巧——修改tensor数值且不影响反向传播
beilizhang的博客
02-27 4307
参考链接 https://tangshusen.me/Dive-into-DL-PyTorch/#/chapter02_prerequisite/2.3_autograd tensor.data 如果我们想要修改tensor的数值，但不希望被autograd记录（即不会影响反向传播），可以对tensor.data进行操作。例如： x = torch.ones(1,requires_grad=True) print(x.data) # 还是一个tensor print(x.data.requires_g
Pytorch学习笔记（一）torch.where()：根据条件修改张量
weixin_42860775的博客
05-06 946
条件判断时，张量特定值的修改。运用到了torch.where()的方法。
torch的fill_函数
08-22
### 回答1： fill_函数是PyTorch中的一个张量操作函数，用于将张量中的所有元素设置为指定的值。具体来说，fill_函数的作用是将张量中的所有元素替换为指定的标量值。例如，可以使用fill_函数将一个张量中的所有元素设置为或1。 ### 回答2： torch的fill_函数是一个用来将张量中的所有元素替换为指定值的方法。fill_函数的语法如下： tensor.fill_(value) 其中，tensor表示要进行替换操作的张量，value表示要替换的值。 fill_函数会将tensor中的所有元素替换为指定的值value，达到原地修改张量的效果，即不创建新的张量，而是直接在源张量上进行修改。 此函数在许多情况下非常有用，比如当我们需要将张量中的所有元素初始化为同一个值时，可以使用fill_函数。例如，可以使用fill_函数将张量中的所有值设为0或1进行初始化。 下面是一个例子，演示了fill_函数的用法： ``` python import torch # 创建一个形状为(2, 3)的张量 tensor = torch.empty(2, 3) # 使用fill_函数将张量中的所有元素替换为2 tensor.fill_(2) print(tensor) ``` 输出结果为： ``` tensor([[2., 2., 2.], [2., 2., 2.]]) ``` 上述例子中，我们首先创建了一个形状为(2, 3)的空张量tensor，然后使用fill_函数将tensor中的所有元素替换为2。最终输出结果显示了替换后的张量。 需要注意的是，fill_函数并不返回新的张量，而是直接修改了源张量。因此，在使用fill_函数时，我们要注意是否需要保留源张量的原始值，避免对原始数据造成意外的修改。 ### 回答3： torch的fill_函数是一个PyTorch中的张量操作函数，用于将张量中的所有元素用指定值进行填充。fill_函数采用下划线结尾的形式，表示该函数是一个就地操作（in-place），即会直接修改原始张量的值，而不会创建新的张量。 fill_函数的语法为：torch.fill_(value) 其中，value是要用来填充张量的值。 fill_函数可以用于任何形状和数据类型的张量，它会将张量中的每个元素都更改为指定的值。这种操作常用于初始化张量的值，或者在之后的计算过程中，需要将张量的值重置为指定值。 下面是一个使用fill_函数的实例： ``` import torch x = torch.tensor([[1, 2, 3], [4, 5, 6]]) print('原始张量：') print(x) x.fill_(0) print('使用fill_函数填充后的张量：') print(x) ``` 运行结果如下： ``` 原始张量： tensor([[1, 2, 3], [4, 5, 6]]) 使用fill_函数填充后的张量： tensor([[0, 0, 0], [0, 0, 0]]) ``` 可以看到，原始张量中的所有元素都被填充为0。 需要注意的是，fill_函数是一个就地操作，会直接修改原始张量的值，而不会返回一个新的张量。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值