详解PyTorch中的copy_()函数、detach()函数、detach_()函数和clone()函数

最新推荐文章于 2023-12-01 12:35:22 发布
最新推荐文章于 2023-12-01 12:35:22 发布
阅读量9.5k 收藏 73
点赞数 32
分类专栏： 零基础学习SSD网络PyTorch实现 Deep-Learning-with-PyTorch 《深度学习之PyTorch实战计算机视觉》
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_46653437/article/details/112547756
版权

参考链接: copy_(src, non_blocking=False) → Tensor
参考链接: detach()
参考链接: detach_()
参考链接: clone() → Tensor

总结:

使用clone():
解释说明: 返回一个原张量的副本,同时不破换计算图,它能够维持反向传播计算梯度,
并且两个张量不共享内存.一个张量上值的改变不影响另一个张量.



使用copy_():
解释说明: 比如x4.copy_(x2), 将x2的数据复制到x4,并且会
修改计算图,使得反向传播自动计算梯度时,计算出x4的梯度后
再继续前向计算x2的梯度. 注意,复制完成之后,两者的值的改变互不影响,
因为他们并不共享内存.



使用detach():
解释说明: 比如x4 = x2.detach(),返回一个和原张量x2共享内存的新张量x4,
两者的改动可以相互可见, 一个张量上的值的改动会影响到另一个张量.
返回的新张量和计算图相互独立,即新张量和计算图不再关联,
因此也无法进行反向传播计算梯度.即从计算图上把这个张量x2拆
卸detach下来,非常形象.




使用detach_():
解释说明: detach()的原地操作版本,功能和detach()类似.
比如x4 = x2.detach_(),其实x2和x4是同一个对象,返回的是self,
x2和x4具有相同的id()值.

以下是手动绘制的计算图(其中的x3部分暂时不用,请读者暂时忽略和x3相关的部分):
在这里插入图片描述

1.最简单的情况:x4 = x2
解释说明: 无需做过多解释

import torch
torch.manual_seed(seed=20200910)
x0 = torch.randn(3, 5, requires_grad=True)
bias = torch.randn(3, 5, requires_grad=True)
x3 = torch.randn(3, 5, requires_grad=False)
x4 = torch.randn(3, 5, requires_grad=False)
x1 = 3 * x0 + 8
x2 = 4 * x1 ** 2 + 5 * x1 + 7

#
# x3 = x2.clone()
# x3 = x3.copy_(x2)
# x3 = x2.detach()
# x3 = x2.detach_()
# x3 = x2

#
# x4 = x2.clone()
# x4 = x4.copy_(x2)
# x4 = x2.detach()
# x4 = x2.detach_()
x4 = x2

#
x5 = 9 * x4 ** 3 + 7 * x4 ** 2 + 3 * x4 + 5 + bias
loss = torch.mean(x5)
print("loss =",loss)
loss.backward()
print("输出梯度信息:")
print(x0.grad)

控制台输出结果:

Windows PowerShell
版权所有 (C) Microsoft Corporation。保留所有权利。

尝试新的跨平台 PowerShell https://aka.ms/pscore6

加载个人及系统配置文件用了 899 毫秒。
(base) PS C:\Users\chenxuqi\Desktop\News4cxq\test4cxq> conda activate ssd4pytorch1_2_0
(ssd4pytorch1_2_0) PS C:\Users\chenxuqi\Desktop\News4cxq\test4cxq>  & 'D:\Anaconda3\envs\ssd4pytorch1_2_0\python.exe' 'c:\Users\chenxuqi\.vscode\extensions\ms-python.python-2020.12.424452561\pythonFiles\lib\python\debugpy\launcher' '49618' '--' 'c:\Users\chenxuqi\Desktop\News4cxq\test4cxq\test25.py'
loss = tensor(9.6161e+08, grad_fn=<MeanBackward0>)
输出梯度信息:
tensor([[5.4391e+07, 1.7363e+07, 1.3316e+08, 3.6766e+05, 2.4903e+07],
        [5.1519e+08, 1.5781e+08, 3.6020e+05, 1.7468e+08, 1.2224e+08],
        [4.6100e+07, 9.8575e+07, 6.9595e+05, 2.4009e+07, 1.6252e+07]])
(ssd4pytorch1_2_0) PS C:\Users\chenxuqi\Desktop\News4cxq\test4cxq>

2.使用clone()的情况:x4 = x2.clone()
解释说明: 返回一个原张量的副本,同时不破换计算图,它能够维持反向传播计算梯度.

import torch
torch.manual_seed(seed=20200910)
x0 = torch.randn(3, 5, requires_grad=True)
bias = torch.randn(3, 5, requires_grad=True)
x3 = torch.randn(3, 5, requires_grad=False)
x4 = torch.randn(3, 5, requires_grad=False)
x1 = 3 * x0 + 8
x2 = 4 * x1 ** 2 + 5 * x1 + 7

#
# x3 = x2.clone()
# x3 = x3.copy_(x2)
# x3 = x2.detach()
# x3 = x2.detach_()
# x3 = x2

#
x4 = x2.clone()
# x4 = x4.copy_(x2)
# x4 = x2.detach()
# x4 = x2.detach_()
# x4 = x2

#
x5 = 9 * x4 ** 3 + 7 * x4 ** 2 + 3 * x4 + 5 + bias
loss = torch.mean(x5)
print("loss =",loss)
loss.backward()
print("输出梯度信息:")
print(x0.grad)

控制台输出结果:

Windows PowerShell
版权所有 (C) Microsoft Corporation。保留所有权利。

尝试新的跨平台 PowerShell https://aka.ms/pscore6

加载个人及系统配置文件用了 901 毫秒。
(base) PS C:\Users\chenxuqi\Desktop\News4cxq\test4cxq> conda activate ssd4pytorch1_2_0
(ssd4pytorch1_2_0) PS C:\Users\chenxuqi\Desktop\News4cxq\test4cxq>  & 'D:\Anaconda3\envs\ssd4pytorch1_2_0\python.exe' 'c:\Users\chenxuqi\.vscode\extensions\ms-python.python-2020.12.424452561\pythonFiles\lib\python\debugpy\launcher' '49739' '--' 'c:\Users\chenxuqi\Desktop\News4cxq\test4cxq\test25.py'
loss = tensor(9.6161e+08, grad_fn=<MeanBackward0>)
输出梯度信息:
tensor([[5.4391e+07, 1.7363e+07, 1.3316e+08, 3.6766e+05, 2.4903e+07],
        [5.1519e+08, 1.5781e+08, 3.6020e+05, 1.7468e+08, 1.2224e+08],
        [4.6100e+07, 9.8575e+07, 6.9595e+05, 2.4009e+07, 1.6252e+07]])
(ssd4pytorch1_2_0) PS C:\Users\chenxuqi\Desktop\News4cxq\test4cxq>

3.使用copy_()的情况:x4 = x4.copy_(x2)或者x4.copy_(x2)
解释说明: 将x2的数据复制到x4,并且会修改计算图,使得反向传播自动计算梯度时,计算出x4的梯度后再继续前向计算x2的梯度.

import torch
torch.manual_seed(seed=20200910)
x0 = torch.randn(3, 5, requires_grad=True)
bias = torch.randn(3, 5, requires_grad=True)
x3 = torch.randn(3, 5, requires_grad=False)
x4 = torch.randn(3, 5, requires_grad=False)
x1 = 3 * x0 + 8
x2 = 4 * x1 ** 2 + 5 * x1 + 7

#
# x3 = x2.clone()
# x3 = x3.copy_(x2)
# x3 = x2.detach()
# x3 = x2.detach_()
# x3 = x2

#
# x4 = x2.clone()
# x4 = x4.copy_(x2)
# x4.copy_(x3)
x4.copy_(x2)
# x4 = x2.detach()
# x4 = x2.detach_()
# x4 = x2

#
x5 = 9 * x4 ** 3 + 7 * x4 ** 2 + 3 * x4 + 5 + bias
loss = torch.mean(x5)
print("loss =",loss)
loss.backward()
print("输出梯度信息:")
print(x0.grad)

控制台输出结果:

Windows PowerShell
版权所有 (C) Microsoft Corporation。保留所有权利。

尝试新的跨平台 PowerShell https://aka.ms/pscore6

加载个人及系统配置文件用了 914 毫秒。
(base) PS C:\Users\chenxuqi\Desktop\News4cxq\test4cxq> conda activate ssd4pytorch1_2_0
(ssd4pytorch1_2_0) PS C:\Users\chenxuqi\Desktop\News4cxq\test4cxq>  & 'D:\Anaconda3\envs\ssd4pytorch1_2_0\python.exe' 'c:\Users\chenxuqi\.vscode\extensions\ms-python.python-2020.12.424452561\pythonFiles\lib\python\debugpy\launcher' '49845' '--' 'c:\Users\chenxuqi\Desktop\News4cxq\test4cxq\test25.py'
loss = tensor(9.6161e+08, grad_fn=<MeanBackward0>)
输出梯度信息:
tensor([[5.4391e+07, 1.7363e+07, 1.3316e+08, 3.6766e+05, 2.4903e+07],
        [5.1519e+08, 1.5781e+08, 3.6020e+05, 1.7468e+08, 1.2224e+08],
        [4.6100e+07, 9.8575e+07, 6.9595e+05, 2.4009e+07, 1.6252e+07]])
(ssd4pytorch1_2_0) PS C:\Users\chenxuqi\Desktop\News4cxq\test4cxq>

注意: 如果将x4.copy_(x2)改成x4.copy_(x3),那么反向传播无法传递到x0,控制台输出的结果是None:

import torch
torch.manual_seed(seed=20200910)
x0 = torch.randn(3, 5, requires_grad=True)
bias = torch.randn(3, 5, requires_grad=True)
x3 = torch.randn(3, 5, requires_grad=False)
x4 = torch.randn(3, 5, requires_grad=False)
x1 = 3 * x0 + 8
x2 = 4 * x1 ** 2 + 5 * x1 + 7

#
# x3 = x2.clone()
# x3 = x3.copy_(x2)
# x3 = x2.detach()
# x3 = x2.detach_()
# x3 = x2

#
# x4 = x2.clone()
# x4 = x4.copy_(x2)
x4.copy_(x3)
# x4.copy_(x2)
# x4 = x2.detach()
# x4 = x2.detach_()
# x4 = x2

#
x5 = 9 * x4 ** 3 + 7 * x4 ** 2 + 3 * x4 + 5 + bias
loss = torch.mean(x5)
print("loss =",loss)
loss.backward()
print("输出梯度信息:")
print(x0.grad)

Windows PowerShell
版权所有 (C) Microsoft Corporation。保留所有权利。

尝试新的跨平台 PowerShell https://aka.ms/pscore6

加载个人及系统配置文件用了 873 毫秒。
(base) PS C:\Users\chenxuqi\Desktop\News4cxq\test4cxq> conda activate ssd4pytorch1_2_0
(ssd4pytorch1_2_0) PS C:\Users\chenxuqi\Desktop\News4cxq\test4cxq>  & 'D:\Anaconda3\envs\ssd4pytorch1_2_0\python.exe' 'c:\Users\chenxuqi\.vscode\extensions\ms-python.python-2020.12.424452561\pythonFiles\lib\python\debugpy\launcher' '49870' '--' 'c:\Users\chenxuqi\Desktop\News4cxq\test4cxq\test25.py'
loss = tensor(16.7390, grad_fn=<MeanBackward0>)
输出梯度信息:
None
(ssd4pytorch1_2_0) PS C:\Users\chenxuqi\Desktop\News4cxq\test4cxq>

4.使用detach()函数情况:x4 = x2.detach()
解释说明: 返回一个和原张量共享内存的新张量,两者的改动可以相互可见, 返回的新张量和计算图相互独立,即新张量和计算图不再关联,因此也无法 进行反向传播计算梯度.

import torch
torch.manual_seed(seed=20200910)
x0 = torch.randn(3, 5, requires_grad=True)
bias = torch.randn(3, 5, requires_grad=True)
x3 = torch.randn(3, 5, requires_grad=False)
x4 = torch.randn(3, 5, requires_grad=False)
x1 = 3 * x0 + 8
x2 = 4 * x1 ** 2 + 5 * x1 + 7

#
# x3 = x2.clone()
# x3 = x3.copy_(x2)
# x3 = x2.detach()
# x3 = x2.detach_()
# x3 = x2

#
# x4 = x2.clone()
# x4 = x4.copy_(x2)
# x4.copy_(x3)
# x4.copy_(x2)
x4 = x2.detach()
print('x4.requires_grad:',x4.requires_grad)
# x4 = x2.detach_()
# x4 = x2

#
x5 = 9 * x4 ** 3 + 7 * x4 ** 2 + 3 * x4 + 5 + bias
loss = torch.mean(x5)
print("loss =",loss)
loss.backward()
print("输出梯度信息:")
print(x0.grad)

控制台输出结果:

Windows PowerShell
版权所有 (C) Microsoft Corporation。保留所有权利。

尝试新的跨平台 PowerShell https://aka.ms/pscore6

加载个人及系统配置文件用了 975 毫秒。
(base) PS C:\Users\chenxuqi\Desktop\News4cxq\test4cxq> conda activate ssd4pytorch1_2_0
(ssd4pytorch1_2_0) PS C:\Users\chenxuqi\Desktop\News4cxq\test4cxq>  & 'D:\Anaconda3\envs\ssd4pytorch1_2_0\python.exe' 'c:\Users\chenxuqi\.vscode\extensions\ms-python.python-2020.12.424452561\pythonFiles\lib\python\debugpy\launcher' '50013' '--' 'c:\Users\chenxuqi\Desktop\News4cxq\test4cxq\test25.py'
x4.requires_grad: False
loss = tensor(9.6161e+08, grad_fn=<MeanBackward0>)
输出梯度信息:
None
(ssd4pytorch1_2_0) PS C:\Users\chenxuqi\Desktop\News4cxq\test4cxq>

5.使用detach_()的情况:x4 = x2.detach_()
解释说明: detach()的原地操作版本,功能和detach()类似.

import torch
torch.manual_seed(seed=20200910)
x0 = torch.randn(3, 5, requires_grad=True)
bias = torch.randn(3, 5, requires_grad=True)
x3 = torch.randn(3, 5, requires_grad=False)
x4 = torch.randn(3, 5, requires_grad=False)
x1 = 3 * x0 + 8
x2 = 4 * x1 ** 2 + 5 * x1 + 7

#
# x3 = x2.clone()
# x3 = x3.copy_(x2)
# x3 = x2.detach()
# x3 = x2.detach_()
# x3 = x2

#
# x4 = x2.clone()
# x4 = x4.copy_(x2)
# x4.copy_(x3)
# x4.copy_(x2)
# x4 = x2.detach()
# print('x4.requires_grad:',x4.requires_grad)
x4 = x2.detach_()
print('x4.requires_grad:',x4.requires_grad)
# x4 = x2

#
x5 = 9 * x4 ** 3 + 7 * x4 ** 2 + 3 * x4 + 5 + bias
loss = torch.mean(x5)
print("loss =",loss)
loss.backward()
print("输出梯度信息:")
print(x0.grad)

控制台输出结果:

Windows PowerShell
版权所有 (C) Microsoft Corporation。保留所有权利。

尝试新的跨平台 PowerShell https://aka.ms/pscore6

加载个人及系统配置文件用了 915 毫秒。
(base) PS C:\Users\chenxuqi\Desktop\News4cxq\test4cxq> conda activate ssd4pytorch1_2_0
(ssd4pytorch1_2_0) PS C:\Users\chenxuqi\Desktop\News4cxq\test4cxq>  & 'D:\Anaconda3\envs\ssd4pytorch1_2_0\python.exe' 'c:\Users\chenxuqi\.vscode\extensions\ms-python.python-2020.12.424452561\pythonFiles\lib\python\debugpy\launcher' '50131' '--' 'c:\Users\chenxuqi\Desktop\News4cxq\test4cxq\test25.py'
x4.requires_grad: False
loss = tensor(9.6161e+08, grad_fn=<MeanBackward0>)
输出梯度信息:
None
(ssd4pytorch1_2_0) PS C:\Users\chenxuqi\Desktop\News4cxq\test4cxq>
敲代码的小风
关注
  • 32
    点赞
  • 踩
  • 73
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
pytorch中clone()、copy_()、detach()等函数辨析
qq_37497304的博客
08-30 1159
pytorch中clone()、copy_()、detach()等函数辨析
torch.copy_()函数介绍
qimo601的专栏
11-24 4843
原来权重的存储指针会指向新得到的权重张量的存储区域；而使用 .copy_() 的话，仅仅是改变原来权重的值，存储区域则不发生改变。copy_()有利于降低运算。
Python numpy pytorch 中的数据复制 copy deepcopy clone detach
Hanlin的博客
12-26 4973
Python numpy pytorch copy deepcopy clone detach Python中的直接赋值，原理是对象的引用，虽然赋值后变量有不同的名字，但是变量仍然共享相同的地址。 如果直接赋值并修改列表b中的值，则a对应的值也会被修改。 Python中的浅copy（copy），原理是copy父对象，但不会copy父对象内部的子对象。 如果使用浅copy并修改列表b中的值，则a对应的值就不会被修改。 如果使用浅copy并修改列表b中的...
pytorch中copy_()、detach()、data()和clone()操作区别小结
yangyanbao8389的博客
04-28 1988
data方法是得到一个tensor的数据信息，其返回的信息与上面提到的detach()返回的信息是相同的，也具有 内存相同，不保存梯度 信息的特点。detach()函数返回与调用对象tensor相关的一个tensor，此新tensor与源tensor共享数据内存（那么tensor的数据必然是相同的），但其requires_grad为False，并且不包含源tensor的计算图信息。copy_()函数是需要一个目标tensor，也就是说需要先构建b，然后将a拷贝给b，而clone操作则不需要。
Python的深拷贝copy.deepcopy() 与Pytorch的.copy()、.clone()
最新发布
weixin_43845386的博客
12-01 1526
Python的深拷贝copy.deepcopy() 与Pytorch的.copy()、.clone()
PyTorch中的copy_()函数、detach()函数、detach_()函数和clone()函数等张量复制操作
wacyy的博客
04-07 1260
PyTorch中的copy_()函数、detach()函数、detach_()函数和clone()函数等张量复制操作
Pytorch mask_select 函数的用法详解
09-17
今天小编就为大家分享一篇Pytorch mask_select 函数的用法详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Pytorch中index_select() 函数的实现理解
01-02
函数形式： index_select( dim, index ) 参数： dim：表示从第几维挑选数据，类型为int值； index：表示从第一个参数维度中的哪个位置挑选数据，类型为torch.Tensor类的实例； 刚开始学习pytorch，遇到了...
pytorch AvgPool2d函数使用详解
12-23
我就废话不多说了，直接上代码吧！ import torch import torch.nn as nn import torch.nn.functional as F from torch.autograd import Variable import numpy as np input = Variable(torch.Tensor([[[1, 3, 3, 4,...
pytorch copy_
sxs11的博客
09-07 5143
copy_(src, non_blocking=False) → Tensor Copies the elements from src into self tensor and returns self. The src tensor must be broadcastable with the self tensor. It may be of a different data type ...
torch中的copy()和clone()
weixin_36670529的博客
05-12 3659
torch中的copy()和clone() 1、torch中的copy()和clone() y = torch.Tensor(2,2):copy(x) --- 修改y并不改变原来的x y = x:clone() 修改y也不改变x y = x 修改y这个时候就开始改变x了注意，官网中Returns a clone of a tensor. The memory is copied.内存被...
Pytorch 的复制函数 torch.repeat_interleave() 和 torch.repeat()
知识搬运者
03-11 5072
1、torch.repeat_interleave() repeat_interleave(self, repeats, dim) self：张量数据 repeats：需要复制的份数 dim：需要复制的维度 import torch a=torch.Tensor([[1,2,3,4], [2,3,4,5]]) print("--------------------------") print(a.repeat_interleave(2, dim=0))
pytorch拷贝模型
qq_34193444的博客
09-08 4135
对于模型中部分模块的复制需求，可以放心复制Module下的成员，然后再组装 import copy # model = model.to('cpu') # 如果模型当前在GPU上而你对此不放心的话 model_copy = copy.deepcopy(model)
Pytorch 中的 Copy.deepcopy() 与 clone()
我的博客，不一样的自我表达
06-23 1142
与 不同的是copy.deepcopy()，它创建整个对象层次结构的独立副本，clone()主要对顶级对象进行操作，并浅层克隆该层次结构中的任何嵌套对象。利用 PyTorch 的专用方法：请记住，PyTorch 提供了其他专用方法，例如tensor.clone()和tensor.detach()，它们提供了根据不同要求创建副本的更具体的方法。然而，内存内容是重复的，确保克隆的对象保持与原始对象的独立性。它创建原始对象的完全独立的副本，确保对原始对象的修改不会影响复制的对象。
pytorch：对比clone、detach以及copy_等张量复制操作
仙海寻波的博客
04-13 943
pytorch提供了clone、detach、copy_和new_tensor等多种张量的复制操作，尤其前两者在深度学习的网络架构中经常被使用，本文旨在对比这些操作的差别。 1. clone 返回一个和源张量同shape、dtype和device的张量，与源张量不共享数据内存，但提供梯度的回溯。 下面，通过例子来详细说明： 示例： （1）定义 import torch a = torch.ten...
torch.Tensor.copy_()和torch.Tensor.detach()和torch.Tensor.clone()学习笔记
敲代码的小风
12-29 2388
参考链接: copy_(src, non_blocking=False) → Tensor 参考链接: detach() 参考链接: clone() → Tensor
[python入门学习]8、深浅拷贝
m0_46824537的博客
02-03 522
分别对浅拷贝和深拷贝进行基本说明
pytorch中的clone函数
07-27
在PyTorch中，clone函数用于创建一个张量的副本。通过clone函数创建的副本张量与原始张量具有相同的值，但是它们是不同的张量对象。这意味着副本张量可以独立于原始张量进行操作，而不会影响原始张量的梯度计算。 根据引用\[1\]和\[2\]的例子，当使用clone函数创建副本张量时，副本张量会保留梯度信息，可以进行梯度回溯。这意味着副本张量的梯度会传递给原始张量，并与原始张量的梯度进行叠加。 然而，根据引用\[3\]的例子，clone函数本身不会保存副本张量的梯度信息。当对副本张量进行梯度计算时，副本张量的梯度为None。只有原始张量会保存梯度信息。 因此，总结来说，clone函数在PyTorch中用于创建一个张量的副本，副本张量与原始张量具有相同的值，但是它们是不同的张量对象。副本张量可以进行独立的操作，但是在梯度计算中，副本张量的梯度会传递给原始张量进行叠加，而副本张量本身不保存梯度信息。 #### 引用[.reference_title] - *1* *2* [【python基础】PyTorch中clone()、detach()](https://blog.csdn.net/dujuancao11/article/details/121563226)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [pytorch中的.clone() 和 .detach()复制变量、共享内存变量](https://blog.csdn.net/weixin_44503976/article/details/126631909)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值