关于 detach()和detach_()的区别

已于 2022-12-03 14:58:47 修改
阅读量441 收藏 2
点赞数 3
分类专栏： 深度学习 文章标签： 深度学习
于 2022-12-03 14:58:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_47505105/article/details/128161624
版权

假设假设y是作为x的函数计算的，而z则是作为y和x的函数计算的。（y = x* x, z=y*x)

下面对于两个函数分别画出计算图：

1. detach（）

如果对y使用detach（），那么在反向传播时，从z->x可以传播，从z->y也可以传播，从y->x也可以传播 ，但是从z->y->x不能传播。

代码和图结合起来看（分离y来返回一个新变量u，该变量与y具有相同的值， 但丢弃计算图中如何计算y的任何信息）：

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2. detach_()

而对于detach_(),则是连y->x都不能传播了。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

chnyi6_ya
关注
  • 3
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
详解jQuery中的empty、remove和detach
10-22
empty、remove和detach三者都有把元素移除的作用，但细微的差别，造就了它们的使命不同。下面给大家介绍jQuery中的empty、remove和detach的区别，感兴趣的朋友一起学习吧
老生常谈jquery中detach()和remove()的区别
10-20
下面小编就为大家带来一篇老生常谈jquery中detach()和remove()的区别。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧
detach函数的作用
最新发布
weixin_45780075的博客
04-01 293
detach() 函数是 PyTorch 中 Tensor 对象的方法之一，其作用是创建一个新的 Tensor，该 Tensor 和原始的 Tensor 共享相同的存储空间，但是和计算图断开连接，不再参与梯度计算。换句话说，detach() 函数可以用来获取一个 Tensor 的副本，但是该副本不再与计算图相关联，因此它不会影响到反向传播过程。在上面的示例中，y_detached 是通过 detach() 函数得到的 y 的副本，它和 y 共享相同的存储空间，但是不再与计算图相关联。
pyTorch基础系列（一）—— 基本语法
Snoopy_Dream
11-07 4909
  目录 -1.torch.FloatTensor（） 0. repeat 1. Varibale与Tensor的区别（0.4之后已经合并为一类了） 2. 大多数索引 都用LongTensor 3. import导入 4. 创建Tensors 5. 获取Tensor部分值 6. 产生随机数据 7. Tensor运算 8. torch.cat( [res,] x_1, x_2,...
pytorch的两个函数 .detach() .detach_() 的作用和区别
热门推荐
MIss-Y的博客
07-11 15万+
前言：当我们再训练网络的时候可能希望保持一部分的网络参数不变，只对其中一部分的参数进行调整；或者值训练部分分支网络，并不让其梯度对主网络的梯度造成影响，这时候我们就需要使用detach()函数来切断一些分支的反向传播 一、tensor.detach() 返回一个新的tensor，从当前计算图中分离下来的，但是仍指向原变量的存放位置,不同之处只是requires_grad为false，得...
详解.detach()、 .data和.detach_()
云隐雾匿的博客
07-28 1400
当我们在训练网络的时候可能希望保持一部分的网络参数不变，只对其中一部分的参数进行调整；或者只训练部分分支网络，并不让其梯度对主网络的梯度造成影响，这时候我们就需要使用detach()函数来切断一些分支的反向传播。
pytorch：.detach()、.detach_()的作用和区别
julac的博客
03-19 1万+
返回一个新的tensor，从当前计算图中分离下来的，但是仍指向原变量的存放位置，不同之处只是requires_grad为false，得到的这个。其实detach()和detach_()很像，两个的区别就是detach_()是对本身的更改，detach()则是生成了一个新的tensor。由于x是直接创建的，所以它没有grad_fn，而y是通过一个加法操作创建的，所以y有grad_fn。将m的grad_fn的值设置为None，这样m就不会再与前一个节点x观点，这里的关系就会变成。
PyTorch中detach()方法和detach_方法区别
weixin_44290841的博客
11-18 1430
import torch t0 = torch.ones((10)) t1 = t0.detach() print(id(t0),id(t1)) print(id(t0.data) , id(t1.data)) 运行结果： 1879016743744 1879016743808 1879016743936 1879016743936 detach()方法是重新建一个tensort1，不过t1和t0的data和grad是共用的。 t0 = torch.ones((10)) t1 = t0.deta
PyTorch中data和detach()及detach_()
weixin_45997688的博客
02-14 258
正常情况下： import torch x=torch.arange(-2.0,2.0,1.0,requires_grad=True) y=x.sigmoid()#x.relu()#x.tanh() y.sum().backward() print(x.grad) #tanh()时：tensor([0.0707, 0.4200, 1.0000, 0.4200]) #relu()时：tensor([...
【笔记】.detach() 和.detach_()的区别：前者返回一个新的tensor，从当前计算图中分离下来，requires_grad=false；后者是对本身的修改，原来的计算图也发生了变化
nyist_yangguang的博客
12-15 588
返回一个新的tensor，从当前计算图中分离下来的，但是仍指向原变量的存放位置,不同之处只是requires_grad为false，得到的这个tensor永远不需要计算其梯度，不具有grad。这样我们就会继续使用这个新的tensor进行计算，后面当我们进行反向传播时，到该调用detach()的tensor就会停止，不能再继续向前进行传播。总结：其实detach()和detach_()很像，两个的区别就是detach_()是对本身的更改，detach()则是生成了一个新的tensor。
pytorch .detach() .detach_() 和 .data用于切断反向传播的实现
09-18
主要介绍了pytorch .detach() .detach_() 和 .data用于切断反向传播的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
PyTorch中 tensor.detach() 和 tensor.data 的区别详解
09-18
今天小编就为大家分享一篇PyTorch中 tensor.detach() 和 tensor.data 的区别详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
GPRS-Attach_Detach流程
05-10
对gprs的激活和去活进行了描述。内容是英文。 Shengyao Chen Lecturer: Dr. Cornelia Kappler UMTS Network WS 2003/2004 Technical University Berlin
PyTorch中 detach() 、detach_()和 data 的区别
修行之路
05-29 320
PyTorch中 detach() 、detach_()和 data 的区别
detach,矩阵运算等知识
landing_guy_的博客
07-03 3325
pytorch中梯度detach, 矩阵的转置, 求和等
pytorch中的.detach()和detach_()和.data和.cpu()和.item()的深入详解与区别联系
weixin_45928096的博客
03-16 5398
pytorch中的.detach()和detach_()和.data和.cpu()和.item()的深入详解与区别联系 在x->y->z传播中，如果我们对y进行detach()，梯度还是能正常传播的； 但如果我们对y进行detach_()，就把x->y->z切成两部分：x和y->z，x则无法接受到后面传过来的梯度。 x.data和x.detach()返回和x的相同数据 tensor，这个新的tensor和原来的tensor（即x） .data返回的是一个tensor、而.item()返回的是一个具体的数值。
pytorch 中一个变量被detach()后，这个变量生成的其他变量还存在梯度的验证
weixin_61445075的博客
01-07 1508
pytorch 中一个变量被detach()后，这个变量生成的其他变量还存在梯度的验证
pytorch之detach()函数理解
kaimMarch的博客
10-11 1万+
https://blog.csdn.net/qq_27825451/article/details/95498211 https://blog.csdn.net/weixin_33913332/article/details/93300411?utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7Edefault-4.no_search_link&depth_1-utm_source=distribute.pc
pthread_detach和pthread_join
08-23
pthread_detach()和pthread_join()都是用于管理线程的函数，但它们有一些区别。 pthread_detach()函数用于将一个已创建的线程标记为可分离的，这意味着一旦线程结束，它的资源将会自动被回收。被标记为可分离的线程不需要被其他线程等待或回收资源，因此在主线程无需调用pthread_join()来等待分离的线程结束。 示例代码如下： ```c #include <pthread.h> void *thread_func(void *arg) { // 线程执行的代码 return NULL; } int main() { pthread_t thread; pthread_create(&thread, NULL, thread_func, NULL); pthread_detach(thread); // 标记线程为可分离的，无需等待回收 // 主线程继续执行其他任务 return 0; } ``` pthread_join()函数用于等待一个指定的线程结束，并回收其资源。当一个线程通过pthread_join()被其他线程等待时，它会进入阻塞状态，直到被等待的线程结束。一旦目标线程结束，pthread_join()函数会返回，并将目标线程的返回值传递给调用者。 示例代码如下： ```c #include <stdio.h> #include <pthread.h> void *thread_func(void *arg) { // 线程执行的代码 return (void *)42; } int main() { pthread_t thread; pthread_create(&thread, NULL, thread_func, NULL); void *thread_return; pthread_join(thread, &thread_return); // 等待线程结束并回收资源 printf("Thread returned: %d\n", (int)thread_return); return 0; } ``` 总结来说，pthread_detach()适用于不需要等待线程结束的情况，而pthread_join()适用于需要等待线程结束并获取返回值的情况。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值