pytorch 使用torch.scatter_()之后无法计算梯度

最新推荐文章于 2023-05-07 22:45:16 发布
最新推荐文章于 2023-05-07 22:45:16 发布
阅读量934 收藏 1
点赞数 3
分类专栏： Bug pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lhyyhlfornew/article/details/108557222
版权
Bug 同时被 2 个专栏收录
16 篇文章 0 订阅
订阅专栏
pytorch
11 篇文章 0 订阅
订阅专栏

上一篇文章介绍到当对需要计算梯度的矩阵进行修改之后梯度计算出错，解决办法是少用a+=a或a=a+1这种形式的赋值操作，然后如果非得使用这些赋值方式的话可以在进行赋值操作之前使用clone()。这篇文章遇到一个问题当使用torch.scatter_()函数对矩阵进行修改时发现就算使用clone()还是会出现梯度无法计算的错误，Google之后找到的解决方法是在对变量进行clone()之前先使用Variable()函数，例子如下：

from torch.autograd import Variable

tensor_to_modify = Variable(tensor_to_modify).clone()

tensor_to_modify.scatter_(dim, index, src)

参考：

https://discuss.pytorch.org/t/backpropagating-through-scatter-add/16887

https://discuss.pytorch.org/t/does-scatter--support-autograd/8587

hyliuisme
关注
  • 3
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 7
    评论
专栏目录
mnist.zip_MNIST pytorch_pytorch_pytorch mnist_pytorch network_zi
09-20
mnist 网络模型，pytorch 实现
FCN-pytorch-master.zip_fcn pytorch 9:9_pytorch_pytorch fcn代码_pyt
07-14
FCN的pytorch实现，实现较为简单
pytorch classification的.py_pytorch_pytorch分类_MNISTpytorch_
10-03
pytorch 实现mnist手写体分类
pytorch禁止/允许计算局部梯度
Answer3664的博客
08-13 1万+
一、禁止计算局部梯度 torch.autogard.no_grad: 禁用梯度计算的上下文管理器。 当确定不会调用Tensor.backward()计算梯度时，设置禁止计算梯度会减少内存消耗。如果需要计算梯度设置Tensor.requires_grad=True 两种禁用方法： 将不用计算梯度的变量放在with torch.no_grad()里 >>> x = torc...
torch.scatter算子详解
leo0308的博客
05-31 2329
0 scatter理解 关于该算子， torch 官方的文档https://pytorch-cn.readthedocs.io/zh/latest/package_references/Tensor/#scatter_input-dim-index-src-tensor 是这么解释的： 刚开始看了几次， 挺费解的。仔细理解之后， 发现其实用法也挺简单的。 这个操作的作用就是把src这个Tensor的值给更新到input这个Tensor中。 那更新到哪些位置呢， 就是由index 和dim去确定了。 拿上面
2021-08-30 创建tensor时，注意不要让梯度消失了
m0_37833297的博客
08-30 645
data = torch.tensor([[0,0],[x1,y1],[x2,y2],[1,1]],requires_grad=True).cuda()
PyTorch：torch.clamp()用法详解
热门推荐
Flag_ing的博客
10-16 1万+
函数定义： torch.clamp(input, min, max, out=None) 作用：限幅。将input的值限制在[min, max]之间，并返回结果。out (Tensor, optional) – 输出张量，一般用不到该参数。 举例说明： import torch a = torch.arange(9).reshape(3, 3) # 创建3*3的tensor b = torch.clamp(a, 3, 6) # 对a的值进行限幅，限制在[3, 6] print('a
torch.scatter函数详解
yangyanbao8389的博客
11-22 1万+
#torch.scatter函数官方解释 scatter(output, dim, index, src) → Tensor Writes all values from the tensor src into self at the indices specified in the index tensor. For each value in src, its output index is specified by its index in src for dimension != dim and
关于torch.scatter函数
thinkpad1234567890的博客
06-06 368
关于torch.scatter函数的理解
torch.scatter与torch_scatter库使用整理
回炉重造P的博客
11-23 6158
最近在做图结构相关的算法，scatter能把邻接矩阵里的信息修改，或者把邻居分组算个sum或者reduce，挺方便的，简单整理一下。 torch.scatter 与 tensor._scatter Pytorch自带的函数，用来将作为src的tensor根据index的描述填充到input中，形式如下： ouput = torch.scatter(input, dim, index, src) # 或者是 input.scatter_(dim, index, src) 两个方法的功能是相同的，而带下划线的
PyTorch的torch.cat用法
09-16
主要介绍了PyTorch的torch.cat用法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
ENAS-pytorch.tar.gz_ENAS_cannotm1d_pytorch
09-24
ENAS （高效神经网络结构搜索）的Pytorch实现版本
pytorch scatter方法 在后向传播中遇到的问题
HeiSeXingYe的博客
05-07 445
pytorch反向传播时shape不一致导致的问题。
pytorch中设置不要记录梯度传播信息的三种方式（torch.no_grad/@torch.no_grad/set_grad_enabled）
qq_43391414的博客
05-07 2442
这个东西和那个with torch.no_grad()一样的作用。
pytorch 模型参数不更新，模型不训练，loss不变，参数没有梯度
StarfishCu的博客
07-25 5567
模型不更新bug原因查找
pytorch梯度的计算过程
qimo601的专栏
03-30 8073
1、基础知识: 与numpy中的基本操作相似， pytorch 的作用是引入GPU加快运算， 增加图形界面， 适合大数据运算， 尤其是deep learning gradient 梯度类似于求导， 找到梯度下降的最佳路径。 tensor 除了可以进行线性代数运算， 还可以求梯度 tensor在pytorch里面是一个n维数组。我们可以通过指定参数reuqires_grad=True来建立一个反向传播图，从而能够计算梯度。在pytorch中一般叫做dynamic computation g...
Pytorch中的梯度知识总结
梦码城博客中心
11-02 3585
你真的了解Pytorch中梯度的计算原理吗？这篇文章主要涉及Pytorch中梯度计算的知识，包括什么是叶子向量，梯度反向传播原理，参数优化过程的详细解释。
python中计算梯度值
qq_38883271的博客
12-06 1万+
在python中，有关函数梯度的计算方法均在python库sympy的vector包里，要想实现梯度计算首先要从vector包里导入两个类，分别是：CoordSys3D和Del. CoordSys3D类的方法主要是构建一个三维标量坐标系，而不是矢量坐标系，我们需要将函数变量通过CoordSys3D的实例化对象映射到三维标量坐标系中。而Del()类中包含gradient()即计算函数梯度的方法。具体...
view size is not compatible with input tensor's size and stride
lhyyhlfornew的博客
12-01 1万+
pytorch报错： RuntimeError: invalid argument 2: view size is not compatible with input tensor's size and stride (at least one dimension spans across two contiguous subspaces). Call .contiguous() before ...
pytorch部分代码如下：train_loss, train_acc = train(model_ft, DEVICE, train_loader, optimizer, epoch,model_ema) if use_amp: with torch.cuda.amp.autocast(): # 开启混合精度 loss = torch.nan_to_num(criterion_train(output, targets)) # 计算loss scaler.scale(loss).backward() # 梯度放大 torch.nn.utils.clip_grad_norm_(model.parameters(), CLIP_GRAD) if not (self._backward_hooks or self._forward_hooks or self._forward_pre_hooks or _global_backward_hooks or _global_forward_hooks or _global_forward_pre_hooks): return forward_call(*input, **kwargs) class LDAMLoss(nn.Module): def __init__(self, cls_num_list, max_m=0.5, weight=None, s=30): super(LDAMLoss, self).__init__() m_list = 1.0 / np.sqrt(np.sqrt(cls_num_list)) m_list = m_list * (max_m / np.max(m_list)) m_list = torch.cuda.FloatTensor(m_list) self.m_list = m_list assert s > 0 self.s = s self.weight = weight def forward(self, x, target): index = torch.zeros_like(x, dtype=torch.uint8) index.scatter_(1, target.data.view(-1, 1), 1) index_float = index.type(torch.cuda.FloatTensor) batch_m = torch.matmul(self.m_list[None, :], index_float.transpose(0,1)) batch_m = batch_m.view((-1, 1)) x_m = x - batch_m output = torch.where(index, x_m, x) return F.cross_entropy(self.s*output, target, weight=self.weight) 报错：Traceback (most recent call last): File "/home/adminis/hpy/ConvNextV2_Demo/train+ca.py", line 279, in <module> train_loss, train_acc = train(model_ft, DEVICE, train_loader, optimizer, epoch,model_ema) File "/home/adminis/hpy/ConvNextV2_Demo/train+ca.py", line 46, in train loss = torch.nan_to_num(criterion_train(output, targets)) # 计算loss File "/home/adminis/anaconda3/envs/wln/lib/python3.9/site-packages/torch/nn/modules/module.py", line 1051, in _call_impl return forward_call(*input, **kwargs) File "/home/adminis/hpy/ConvNextV2_Demo/models/utils.py", line 621, in forward index.scatter_(1, target.data.view(-1, 1), 1) IndexError: scatter_(): Expected dtype int64 for index.
最新发布
06-10
看起来问题出在 `LDAMLoss` 中的 `scatter_()` 函数上。根据报错信息，`scatter_()` 期望的 `dtype` 是 `int64`，但是 `target` 的 `dtype` 不是，导致了错误。你可以尝试在 `LDAMLoss` 中将 `target` 的 `dtype` 转换为 `torch.int64`，例如： ``` index.scatter_(1, target.data.view(-1, 1).type(torch.int64), 1) ``` 这样应该可以解决这个问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值