[pytorch] clone() detach()图示理解

已于 2023-05-16 09:57:23 修改
阅读量177 收藏 2
点赞数
分类专栏： pytorch python # torch学习记录 文章标签： pytorch python 学习 Powered by 金山文档
于 2023-02-08 15:24:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39749966/article/details/128936421
版权

文字理解 参考

左图clone

clone是对数据data的`深度拷贝`，但是梯度是共享的, 即x1的data和x2的data是不一样的，但是gradient是同一个，共享一个内存地址。

右图detach

detach的机制正好与clone相反。x1的data和x2的data是同一个，但是gradient被截断了，是不通的，即x2的gradient回传不给x1

放飞自我的Coder
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
pytorch .detach() .detach_() 和 .data用于切断反向传播的实现
09-18
主要介绍了pytorch .detach() .detach_() 和 .data用于切断反向传播的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
pytorch中的.clone() 和 .detach()复制变量、共享内存变量
爱在深秋
08-31 9146
使用torch.clone()获得的新tensor和原来的数据不再共享内存，但仍保留在计算图中，clone操作在不共享数据内存的同时支持梯度梯度传递与叠加，所以常用在神经网络中某个单元需要重复使用的场景下。需要注意的是view返回的Tensor与源Tensor是共享data的，但是依然是一个新的Tensor（因为Tensor除了包含data外还有一些其他属性），两者id（内存地址）并不一致。detach()函数可以返回一个完全相同的tensor,与旧的tensor共享内存，脱离计算图，不会牵扯梯度计算。..
pytorch张量复制clone()和detach()
Answer3664的博客
02-20 1万+
转自：https://blog.csdn.net/winycg/article/details/100813519 tensor复制可以使用clone()函数和detach()函数即可实现各种需求。 clone clone()函数可以返回一个完全相同的tensor,新的tensor开辟新的内存，但是仍然留在计算图中。 detach detach()函数可以返回一个完全相同的tensor,.........
.detach()和.clone()的区别
weixin_52582300的博客
04-12 173
最近在Pytorch下手搓神经网络计算图时，遇到了一些问题，我发现很多莫名其妙的梯度中断或者tensor值异常都源自于相应的，为了保证梯度连续，往往需要再找一个变量，先赋值，再对新变量处理。或者就把运算符写开：tensor = tensor + new_tensorer而不是tensor += new_tensorer。
pytorch基础：tensor
邦戈邦戈栗子的博客
03-29 1042
import os import cv2 import torch if __name__ == "__main__": # 创建未初始化的矩阵 x = torch.empty(5, 3) # 创建随机初始化矩阵 x1 = torch.rand(5, 3) # 创建一个0填充的矩阵，数据类型为long # 注意 zeros 有s,类型参数为dtype 且是torch.long x2 = torch.zeros(5, 3, dtype=torch.l.
【python基础】PyTorch中clone()、detach()
dujuancao11的博客
11-26 1万+
https://www.jb51.net/article/201734.htm clone() 与 detach() 对比 Torch 为了提高速度，向量或是矩阵的赋值是指向同一内存的，这不同于 Matlab。如果需要保存旧的tensor即需要开辟新的存储地址而不是引用，可以用 clone() 进行深拷贝， 首先我们来打印出来clone()操作后的数据类型定义变化： (1). 简单打印类型 import torch a = torch.tensor(1.0, requires_grad=..
详解PyTorch中的copy_()函数、detach()函数、detach_()函数和clone()函数
敲代码的小风
01-12 9454
在这里插入代码片
PyTorch中 tensor.detach() 和 tensor.data 的区别详解
09-18
今天小编就为大家分享一篇PyTorch中 tensor.detach() 和 tensor.data 的区别详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
理解情感—从Keras移植到pyTorch
02-25
情感情绪检测是自然语言理解的关键要素。最近，我们将原来的项目迁移到了新的集成系统上，该系统基于麻省理工学院媒体实验室推出的NLP模型搭建而成。代码已经开源了！（详见GitHub：...
pytorch里面的detach()和clone()内存问题
qq_40178291的博客
09-22 4829
pytorch里面的detach()和clone()内存是不同的，detach是不内存共享的，而clone()是内存共享的。 代码如下： >>> import torch >>> a=torch.randn(2,4) >>> b=torch.randn(2,4) >>> a tensor([[-0.1926, 1.8904,...
PyTorch中的clone(),detach()及相关扩展
热门推荐
Breeze
06-20 3万+
clone() 与 detach() 对比 Torch 为了提高速度，向量或是矩阵的赋值是指向同一内存的，这不同于 Matlab。如果需要保存旧的tensor即需要开辟新的存储地址而不是引用，可以用 clone() 进行深拷贝， 首先我们来打印出来clone()操作后的数据类型定义变化： (1). 简单打印类型 import torch a = torch.tensor(1.0, requires_grad=True) b = a.clone() c = a.detach() a.data *= 3 b
[Pytorch01]Tensor的创建与复制：tensor(a),detach(a),clone(a),=a
SoniciSika
07-20 1万+
Tensor的创建 tensor() t=torch.tensor(a) a可以是列表，ndarray，tensor 对于ndarray和tensor来说，t是一个copy，对t的任何操作都不会影响原有数据。 随机 和numpy中随机语法类似 rand：在(0,1)的均匀分布中sample randn: 在N(0,1)的正态分布中sample Tensor的复制 t=tensor(a) ...
Pytorch clone() detach()
weixin_41914570的博客
10-27 906
1.clone()主要用于模块复用 数据进行复制，不共享同一内存，梯度可以回溯 c=torch.tensor(1.0,requires_grad=True) b=c*2 d=b**2 （**） b_=b.clone() e_=b_**3 e_.backward(retain_graph=True) """ b.zero_() 这里的b是d.backward()的回溯节点（**），在回溯前不能进行in place 操作, 目的保证梯度计算正确，但如果是b_.zero_()就不会报错，因为c..
【Pytorch】对比clone、detach以及copy_等张量复制操作
guofei_fly的博客
02-24 2万+
pytorch提供了clone、detach、copy_和new_tensor等多种张量的复制操作，尤其前两者在深度学习的网络架构中经常被使用，本文旨在对比这些操作的差别。 1. clone 返回一个和源张量同shape、dtype和device的张量，与源张量不共享数据内存，但提供梯度的回溯。 下面，通过例子来详细说明： 示例： （1）定义 import torch a = torch.ten...
深入学习jquery源码之detach()和clone()
悦分享
12-30 707
深入学习jquery源码之detach()和clone() detach([expr]) 概述 从DOM中删除所有匹配的元素。 这个方法不会把匹配的元素从jQuery对象中删除，因而可以在将来再使用这些匹配的元素。与remove()不同的是，所有绑定的事件、附加的数据等都会保留下来。 参数 expr String 用于筛选元素的jQuery表达式 从DOM中把所有段落删除 &l...
pytorch中detach()和clone()的区别
qq_37840762的博客
07-26 1135
detach()方法 得到一个和源张量共享内存，但没有梯度信息的张量,不参与计算图的梯度计算 clone()方法 开辟新内存空间，其值和源张量一样，参与计算图中梯度计算并可将梯度信息传递到源张量进行累积，但通过clone方法得到的张量其只是一个中间值，梯度为None import torch a=torch.tensor(2.0,requires_grad=True) b=a.clone() #参与计算图梯度计算，但是和a不是同一内存，改变b值不影响a值 c=a.detach() ...
Pytorch 快速入门 ：从tensorflow转Pytorch的笔记（gather的用法，待补充...）
midori的博客
01-04 4529
从tensorflow那边踩坑后过来，对比一下二者的不同： PyTorch vs TensorFlow，哪个更适合你 为什么要转Pytorch？ 更加灵活(可以去看别人用tensorflow实现，因为很流行，然后方便地用torch去实现自己的想法)，支持Python化（也就是说基本可以当numpy使用） 速度更快 代码简洁容易上手(0.4版本后没有Variable之类的定义，只有一个tensor...
pytorch中使用detach()
qw___的博客
11-29 4424
import torch.nn as nn import torch class net(nn.Module): def __init__(self): super().__init__() self.conv = nn.Conv2d(3, 6, 3, stride=2, padding=1) self.layer1 = nn.Conv2d...
【pytorch19】交叉熵
最新发布
qq_45291280的博客
07-06 650
交叉熵
pytorch里面detach()
04-11
在PyTorch中，`detach()`是一个用于从计算图中分离张量的方法。当我们调用`detach()`方法时，它会返回一个新的张量，该张量与原始张量共享相同的底层数据，但不再与计算图相关联。换句话说，`detach()`方法可以用于...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

放飞自我的Coder

你的鼓励很棒棒哦~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值